Yapay Zekâ Ajanları Birbirleriyle İş Yapmaya Başladığında Güveni Kim Sağlayacak?

Bugün yapay zekâ ajanlarını çoğunlukla kendi şirketimizin sınırları içinde düşünüyoruz.

Bir müşteri talebini yanıtlıyor, satış fırsatını değerlendiriyor, çalışanların sorularını çözüyor ya da bir iş sürecindeki sonraki adımı başlatıyorlar. Ancak asıl dönüşüm, farklı şirketlere ait yapay zekâ ajanlarının birbirleriyle doğrudan iletişim kurmaya başlamasıyla ortaya çıkacak.

Bir satın alma ajanı, tedarikçinin satış ajanıyla fiyat görüşebilecek. Bir sigorta ajanı, sağlık kuruluşunun ajanından gerekli bilgileri isteyebilecek. Bir lojistik ajanı, teslimat koşullarını başka bir şirketin operasyon ajanıyla yeniden planlayabilecek.

Teknik olarak bu sistemleri birbirine bağlamak mümkün hale geliyor. Asıl soru ise bağlantının kurulup kurulamayacağı değil:

Bir şirket, başka bir şirket adına hareket eden yapay zekâ ajanına neden güvenmeli?

Salesforce AI Research tarafından incelenen, 78.000 yapay zekâ ajanının 3,5 milyon yorumunu kapsayan bir araştırma bu sorunun önemini açık biçimde ortaya koyuyor. Koordinasyon mekanizmaları bulunmadığında ajanların birbirleriyle gerçek anlamda iş birliği yapmak yerine çoğunlukla birbirlerini tekrar ettiği, konu dışına çıktığı veya iletişim görüntüsü yaratan ancak değer üretmeyen etkileşimler kurduğu görüldü. İncelenen ajan yorumlarının yüzde 65’i yanıt verdiği içeriğe anlamlı bir katkı sağlamadı.

Bu sonuç, kurumlar için önemli bir gerçeğe işaret ediyor:Ajanların konuşabilmesi, birlikte güvenilir biçimde çalışabildikleri anlamına gelmiyor.Kurumlar arası ajan ekonomisinin oluşabilmesi için iletişim protokollerinin yanında yeni bir yapay zekâ güven mimarisine de ihtiyaç var.

Ajanlar Arası Güven Neden Yeni Bir Yönetim Konusu?

Şirketler arasındaki ticari ilişkiler yalnızca sözleşmelerle ilerlemez. Kimlik, yetki, kurumsal itibar, geçmiş davranışlar ve gerektiğinde uygulanabilecek yaptırımlar da bu ilişkilerin ayrılmaz parçalarıdır.

Bir satın alma yöneticisi karşısındaki kişinin hangi şirket adına konuştuğunu, hangi koşulları kabul etmeye yetkili olduğunu ve verilen taahhüdün kurumu bağlayıp bağlamadığını bilir.

Yapay zekâ ajanları şirketler adına karar almaya başladığında aynı sorular dijital sistemler için de yanıtlanmak zorunda:

• Bu ajan hangi kurum adına hareket ediyor?

• Hangi verilere ve işlemlere erişme yetkisi var?

• Bir fiyatı veya sözleşme maddesini kabul edebilir mi?

• Geçmiş etkileşimlerinde güvenilir davrandı mı?

• Hatalı bir karar verildiğinde sorumluluk kime ait?

• Hangi noktada süreç bir insana aktarılmalı?

Bu sorular yanıtlanmadan kurulan ajanlar arası iletişim, otomasyonu artırabilir ancak kurumsal riski de aynı hızla büyütebilir.

1. Kurallar Tek Başına Yeterli Değil

Geleneksel otomasyon sistemleri açık kurallarla yönetilir.

“Müşteri verisini paylaşma.”

“Belirlenen indirim oranını aşma.”

“Onaysız ödeme başlatma.”

Bu tür kurallar nettir. Koşul gerçekleştiğinde sistemin nasıl davranacağı önceden belirlenebilir.

Ancak şirketler arasındaki görüşmeler yalnızca kesin kurallardan oluşmaz. Ticari süreçler çoğu zaman bağlam gerektiren değerlendirmeler içerir:

• Hangi durumda taviz verilmeli?

• Müşteri ilişkisini korumak için hangi koşul esnetilebilir?

• Stratejik pazarlık ile manipülasyon arasındaki sınır nerede başlar?

• Kısa vadeli kazanç ile uzun vadeli iş ilişkisi arasında nasıl seçim yapılmalı?

Bunlar yalnızca işlem kuralları değil, kurumsal standartlar ve değerlerle ilgili kararlardır.

Bu nedenle yeni güven mimarisi yalnızca ajanın aldığı kararı kontrol etmemeli. Ajanın bu karara nasıl ulaştığını da değerlendirebilmelidir.

C-level yöneticiler açısından bu ayrım kritiktir. Çünkü yapay zekâ yönetişimi, yalnızca yasaklanan davranışların listelenmesiyle kurulamaz. Kurumun risk yaklaşımı, etik standartları ve ticari öncelikleri de ajanların karar modeline yansıtılmalıdır.

2. Ajanın Kimliği ve Yetkisi Doğrulanabilir Olmalı

Kurumlar arası bir görüşmede anonim bir ajanın anlamlı bir rol üstlenmesi mümkün değildir.

Karşı tarafın, iletişim kurduğu ajanın hangi organizasyona ait olduğunu ve hangi yetkiyle hareket ettiğini doğrulayabilmesi gerekir.

Bu nedenle her kurumsal yapay zekâ ajanının en azından şu bilgileri taşıması beklenir:

• Temsil ettiği kurum

• Yerine getirebildiği görevler

• Erişebildiği veri ve sistemler

• Karar verme sınırları

• Yasal ve operasyonel kısıtları

• İnsan onayı gerektiren işlemler

• Güvenlik ve uyumluluk durumu

Salesforce AI Research tarafından geliştirilen Agent Card yaklaşımı, bir ajanın yeteneklerini, sınırlarını, uyumluluk durumunu ve temsil ettiği kurum adına ne ölçüde taahhütte bulunabileceğini standart bir meta veri yapısıyla göstermeyi amaçlıyor. Bu yaklaşım daha sonra Google’ın A2A spesifikasyonuna da dahil edildi.

Agent Card’ı, yapay zekâ ajanları için hazırlanmış bir kurumsal kimlik ve yetki belgesi gibi düşünmek mümkün.

Ancak kimlik doğrulaması tek başına yeterli değil. Zaman içinde ajanın davranışlarından oluşan bir itibar kaydına da ihtiyaç duyulacak.

Çünkü güven, yalnızca ajanın kim olduğunu bilmekten değil, geçmişte verdiği sözleri ne ölçüde yerine getirdiğini görmekten oluşur.

3. Kurumsal İtibar Ajanlara da Taşınacak

İnsanlar ve kurumlar arasındaki ticari ilişkiler geçmiş davranışlardan etkilenir.

Sözleşmelerine uyan, düzenlemeleri ihlal etmeyen ve tutarlı çalışan şirketler daha kolay güven oluşturur. Aynı mantık, kurumlar adına hareket eden yapay zekâ ajanları için de geçerli olacak.

Bir ajanın güvenilirliği zaman içinde şu tür davranışlardan etkilenebilir:

• Verilen taahhütlere uyulması

• Yanlış veya yanıltıcı bilgi paylaşılmaması

• Yetki sınırlarının aşılmaması

• Veri gizliliği kurallarına uyulması

• Eskalasyonların doğru zamanda yapılması

• Kararların geriye dönük olarak açıklanabilmesi

Bu nedenle gelecekte ajan itibarı, yalnızca teknik performans puanlarından oluşmayacak. Ajanın temsil ettiği şirketin yasal geçmişi, güvenlik yaklaşımı ve kurumsal itibarı da değerlendirmeye dahil edilecek.

Buradan önemli bir stratejik sonuç çıkıyor:

Güvenilir kurumlar, ajanlar arası ekonomiye yalnızca teknoloji avantajıyla değil, yıllar içinde oluşturdukları kurumsal itibarla da başlayacak.

Başka bir ifadeyle şirketlerin bugün sahip olduğu güven sermayesi, yarının yapay zekâ ajanlarına aktarılabilir bir rekabet avantajına dönüşebilir.

4. Her Senaryoyu Yazmak Yerine Sınırları Belirleyin

Yapay zekâ sistemlerini yönetirken ilk refleks, karşılaşılabilecek bütün senaryoları önceden tanımlamak olabilir.

Ancak olasılıksal çalışan ajanlarda her durumu tek tek yazmak gerçekçi değildir. İş dünyasında bağlam sürekli değişir; farklı şirketlerin ajanları farklı veriler, modeller ve kurumsal önceliklerle çalışır.

Bu nedenle güvenilir ajan yönetimi için daha uygulanabilir yaklaşım, her davranışı senaryolaştırmak yerine net sınırlar oluşturmaktır.

Örneğin bir tedarik ajanı:

• Belirli bir fiyat aralığında bağımsız pazarlık yapabilir.

• Standart ödeme koşullarını kabul edebilir.

• Onaylı tedarikçilerle işlem başlatabilir.

• Ancak bütçe sınırını aşan bir taahhütte bulunamaz.

• Yeni bir sözleşme yükümlülüğünü insan onayı olmadan kabul edemez.

• Kritik bir uyumluluk riski tespit ettiğinde süreci durdurmak zorundadır.

Bu model, profesyonel çalışanların yönetimine benzer.

Bir yöneticiye her olası durum için hazır bir metin verilmez. Bunun yerine yetki sınırları, şirket politikaları, performans kriterleri ve denetim mekanizmaları tanımlanır.

Yapay zekâ ajanları için de aynı yaklaşım geçerlidir:

Sınırlar net olmalı, ancak bu sınırlar içindeki hareket alanı işin bağlamına göre korunmalıdır.

Salesforce’un yaklaşımına göre karmaşık iş ortamlarında sınırlar, katı ve ayrıntılı senaryolardan daha ölçeklenebilir bir yönetişim modeli sunuyor.

5. Bir Kararın Sorumlusu Her Zaman Belirlenebilmeli

Bir yapay zekâ ajanı fiyat kabul ettiğinde, sözleşme maddesini onayladığında veya anlaşmazlığı bir sonraki seviyeye taşıdığında sorumluluğun kime ait olduğu açık olmalıdır.

“Kararı yapay zekâ verdi” ifadesi kurumsal, hukuki veya düzenleyici açıdan yeterli değildir.

Her ajan için şu soruların yanıtı baştan tanımlanmalıdır:

• Ajanın sahibi hangi iş birimidir?

• Yetkilerini kim belirler?

• Performansını kim izler?

• Risk seviyesini kim onaylar?

• Yanlış bir kararın sonuçlarından kim sorumludur?

• Ajan hangi yöneticiye veya kurula raporlanır?

Ajanların kurum genelinde yaygınlaşmasıyla birlikte bu sorumluluklar yeni görev tanımlarını da beraberinde getirebilir. AI operasyon yöneticileri, ajan yöneticileri veya yapay zekâ yönetişim liderleri; ajanların canlıya alınması, izlenmesi ve gerektiğinde durdurulmasından sorumlu hale gelebilir.

Ancak organizasyon şeması tek başına yeterli değildir.

Ajanın gerçekleştirdiği her önemli işlem için güçlü bir denetim izi oluşturulması gerekir. Bu kayıt yalnızca nihai kararı değil, karar sırasında kullanılan bilgileri, değerlendirilen seçenekleri ve ajanı sonuca götüren süreci de içermelidir.

Çünkü bir karar hukuki incelemeye konu olduğunda, yalnızca “ne oldu?” sorusunun değil, “neden ve nasıl oldu?” sorusunun da yanıtlanabilmesi gerekir.

Denetlenebilirliği canlıya geçişten sonra eklemeye çalışmak, sistemi baştan bu gereksinime göre tasarlamaktan çok daha zordur.

6. İnsan Denetimi Doğru Eşiklerde Devreye Girmeli

Bir yapay zekâ ajanının en önemli yeteneklerinden biri yalnızca ne zaman harekete geçeceğini değil, ne zaman duracağını da bilmesidir.

Sürekli insana yönlendiren bir ajan, otomasyonun değerini ortadan kaldırır.

Hiçbir durumda insana yönlendirmeyen bir ajan ise kurumsal riske dönüşür.

Bu nedenle eskalasyon mekanizması yalnızca “insana aktar” kuralından ibaret olmamalıdır. Riskin ve kararın sonuçlarının büyüklüğüne göre farklı denetim seviyeleri tanımlanmalıdır.

Örneğin:

• Rutin bilgi talepleri tamamen otonom ilerleyebilir.

• Standart fiyat görüşmeleri belirlenen sınırlar içinde ajan tarafından tamamlanabilir.

• Büyük finansal yükümlülükler nihai onay öncesinde insana sunulabilir.

• Düzenleyici risk taşıyan kararlar anında durdurulabilir.

• Belirli işlemler işlem sonrasında periyodik denetime tabi tutulabilir.

Buradaki temel karar, insanın sürece dahil olup olmayacağı değildir.

İnsan muhakemesinin hangi noktada, hangi bilgiyle ve hangi yetkiyle sürece dahil olacağıdır.

Salesforce bu dengeyi “kalibre edilmiş eskalasyon” olarak tanımlıyor: düşük riskli kararların otonom ilerlemesi, yüksek etkili kararların ise sonuçları oluşmadan önce insan değerlendirmesine açılması.