Yapay Zekâ Ajanlarını Pilottan Üretime Taşımak

Yapay zekâ ajanı projelerinin önemli bir bölümü başarısız olduğu için değil, pilot aşamasından çıkamadığı için beklenen değeri üretemiyor.

Demo başarıyla tamamlanıyor. Ajan test senaryolarına doğru yanıtlar veriyor. Yönetim sunumlarında güçlü bir izlenim bırakıyor. Ancak canlıya geçiş tarihi yaklaştıkça yeni ihtiyaçlar ortaya çıkıyor: bilgi tabanında eksikler bulunuyor, QA ekibi beklenmedik senaryolarla karşılaşıyor, hukuk ekibi eskalasyon metinlerini yeniden değerlendirmek istiyor. Böylece proje bir sprint daha uzuyor. Ardından bir sprint daha. Ajan üretime yakın görünüyor, fakat aylar boyunca aynı noktada kalıyor.

Yapay zekâ ajanlarını başarıyla üretime alan şirketler ise yalnızca daha iyi teknoloji kullanmıyor. Bu şirketler, geliştirme başlamadan önce ajanın hangi işi tamamlayacağını, hangi verilerle çalışacağını, hangi durumlarda karar vereceğini ve ne zaman bir çalışana yönlendirme yapacağını net biçimde tanımlıyor.

Florida Prepaid, Adecco, Datasite, Indeed ve SharkNinja örnekleri, yapay zekâ ajanlarını pilot projeden canlı kullanıma taşıyan beş temel kararı gösteriyor.

1. Yapay Zekâ Ajanının Rolünü Teknolojiden Önce Belirleyin

Florida Prepaid, ailelerin çocukları için uzun yıllar boyunca sürdürdüğü kolej tasarruf planlarını yönetiyor. Bu nedenle müşteri hizmetlerine gelen her çağrı yalnızca basit bir işlem talebi değil, yıllara yayılan müşteri ilişkisinin önemli bir parçası.

Şirket Agentforce Voice’u çağrı merkezi operasyonlarına entegre ederken projeyi yalnızca çağrıların otomatik olarak karşılanmasını sağlayacak bir çözüm olarak ele almadı. Florida Prepaid Bilgi ve Teknoloji Müdürü Ashley Falls, projenin yaklaşımını şu sözlerle açıklıyor:

“Bu projeye bir çağrı saptırma aracı olarak değil, servis modelini sorumlu biçimde yeniden tasarlamanın yolu olarak baktık.”

Bu yaklaşım, Agentforce Voice’un görev sınırlarını doğrudan etkiledi. Hedef mümkün olduğunca fazla çağrıyı otomatikleştirmek olsaydı, yapay zekâ ajanı her görüşmeyi yönetmeye çalışacaktı. Bunun yerine şirket, hangi çağrıların Agentforce Voice tarafından karşılanacağını ve hangi konuların insan temsilcilere aktarılacağını önceden belirledi.

Ajanın erişimi kamuya açık Salesforce Bilgi Makaleleriyle sınırlandırıldı. Hassas, kişisel veya karmaşık konular için açık eskalasyon yolları oluşturuldu. Bu yapı sayesinde yapay zekâ tarafından karşılanan çağrılar ortalama 1,6 dakika sürerken insan temsilcilerin yönettiği görüşmeler ortalama 10,9 dakika sürüyor. Temsilciler, otomasyona uygun olmayan ve gerçekten insan desteği gerektiren görüşmelere daha fazla zaman ayırabiliyor.

Agentforce Voice bugün mesai saatlerinde gelen çağrıların yüzde 75’ini, mesai dışındaki çağrıların ise tamamını karşılıyor. Sohbet ekibinin yüzde 35’i de proaktif ve gelir odaklı görevlere yönlendirilmiş durumda.

Üretime geçişi hızlandıran karar: Yapay zekâ ajanının neler yapabileceğini değerlendirmeden önce, hangi iş sonucundan sorumlu olacağını belirleyin.

2. Ajanı Değil, Önce Ajanı Besleyen Veriyi Hazırlayın

Adecco, her gün yaklaşık iki milyon çalışanı görevlendiriyor ve 100.000’den fazla müşteriye hizmet veriyor.

Ancak aday etkileşimlerinin üçte ikisi mesai saatleri dışında gerçekleştiği için işe alım uzmanları adayların yalnızca yüzde 10’una ulaşabiliyordu. Daha fazla adayı değerlendirebilmek için işe alım ekiplerinin çalışmadığı saatlerde de adaylarla iletişim kurabilecek bir yapay zekâ ajanına ihtiyaç vardı.

Buradaki temel sorun yalnızca adaylarla görüşecek bir ajan geliştirmek değildi.

Ajanın doğru soruları sorabilmesi, aday yanıtlarını değerlendirebilmesi ve işe alım uzmanına anlamlı bir özet aktarabilmesi için iş ilanlarının eksiksiz ve doğru olması gerekiyordu.

Bu nedenle Agentforce herhangi bir adayla görüşmeden önce ilgili iş ilanı iki temel kontrolden geçiriliyor:

• İlanın gerekli bilgileri içerip içermediğini ölçen tamlık puanı

• Ayrımcı veya uygun olmayan ifadeleri tespit eden içerik kontrolü

Belirlenen kalite seviyesini karşılamayan iş ilanları, aday görüşmesi başlatılmadan önce işe alım uzmanına geri gönderiliyor.

Eksik bir pozisyon kaydıyla çalışan ajan doğru soruları soramaz. Adayın deneyimini sağlıklı biçimde değerlendiremez. İşe alım uzmanına güvenilir bir devir gerçekleştiremez.

Adecco’nun veri kalitesini ön koşul olarak ele almasıyla aday ön eleme kapsamı yüzde 10’dan yüzde 100’e yükseldi.

Üretime geçişi hızlandıran karar: “Ajan hazır mı?” sorusundan önce “Ajanın kullanacağı veri hazır mı?” sorusunu yanıtlayın.

3. Kritik Kararları Doğal Dil Talimatlarına Bırakmayın

Grant Roberson, birleşme ve satın alma işlemlerinde kullanılan Datasite platformunun tek Agentforce yöneticisi.

Datasite gibi yüksek riskli iş süreçlerinin yürütüldüğü bir platformda yanlış veya tutarsız bir yanıt yalnızca kullanıcı deneyimini bozmaz. Devam eden bir anlaşmayı veya kritik bir iş sürecini de etkileyebilir.

Projenin ilk aşamasında ajan davranışlarının büyük bölümü doğal dil talimatlarıyla yönetiliyordu. Ancak doğal dil talimatları her zaman aynı sonucu üretmiyordu. Benzer kullanıcı talepleri farklı şekillerde yorumlanabiliyor, sorunların kaynağını tespit etmek ve davranışı düzeltmek zorlaşıyordu.

Roberson bu problemi çözmek için yoruma açık olmaması gereken kararları belirledi.

Belirli bir koşul oluştuğunda hangi işlemin çalışacağı doğrudan tanımlandı. Agent Script kullanılarak kritik akışlar her seferinde aynı şekilde çalışacak koşullu mantığa dönüştürüldü.

Aynı yaklaşım insan temsilciye eskalasyon sürecinde de uygulandı. Bir görüşmenin temsilciye aktarılması için kullanıcının önce açık ve somut bir soru sorması gerekiyordu. Böylece kullanıcıların ajanı hiç kullanmadan doğrudan canlı desteğe geçmesi engellendi.

Bu değişikliklerden sonra konuşma başarısızlık oranı yaklaşık yüzde 33’ten yüzde 0,5’e geriledi. Çağrı saptırma oranı yüzde 60’ın altından yüzde 82’ye yükseldi. Müşteri memnuniyeti ise beş üzerinden 4,8’e ulaşarak insan destek ekibinin performansıyla aynı seviyeye geldi.

Buradaki amaç tüm ajan talimatlarını kodla değiştirmek değildi. Yalnızca farklı yorumlanması gerçek bir operasyonel risk yaratabilecek kararlar deterministik hale getirildi.

Üretime geçişi hızlandıran karar: Esneklik gerektiren adımlarda doğal dili, tutarlılık gerektiren kritik kararlarda koşullu mantığı kullanın.

4. İlk Yapay Zekâ Ajanını Tek Bir Proje Olarak Görmeyin

Indeed, Agentforce’u dört farklı üretim senaryosunda kullanıyor:

• Web portalındaki işveren talepleri için servis ajanı

• Slack üzerinden çalışan BT destek ajanı

• Aday nitelendirme ve toplantı planlama süreçleri için SDR ajanı

• Satış ve servis süreçlerini birlikte yöneten çift amaçlı ajan

Indeed’in ilk yapay zekâ ajanını geliştirmesi aylar sürdü. Sonraki ajanlar ise haftalar içinde üretime alınabildi.

Bu farkın nedeni yalnızca ekibin deneyim kazanması değildi. İlk projede kurulan teknik altyapının sonraki Agentforce kullanım senaryolarında yeniden kullanılabilmesiydi.

Indeed mühendisleri ajanları yalnızca tarayıcı arayüzü üzerinden geliştirmek yerine API ve CLI tabanlı bir geliştirme modeli kullanıyor. Her ajan, işveren profillerinin, geçmiş destek taleplerinin ve ilgili müşteri verilerinin önceden yapılandırıldığı ortak Data 360 katmanına bağlanıyor.

Yeni bir kullanım senaryosu ortaya çıktığında veri bağlantılarının, geliştirme araçlarının ve temel mimarinin önemli bir bölümü hazır durumda oluyor.

Indeed Kıdemli Teknik Ürün Yöneticisi Oliver Bodden bu etkiyi şöyle açıklıyor:

“İlk ajan aylar sürdü. Son ajan haftalar sürdü. Bu, bileşik etkinin sonucu.”

İlk ajan yalnızca tek bir problemi çözmek için geliştirilirse, sonraki projelerde benzer altyapının yeniden kurulması gerekir. İlk uygulama ortak veri modeli, entegrasyon yapısı, güvenlik yaklaşımı ve geliştirme standartlarıyla birlikte tasarlandığında ise her yeni ajan daha hızlı üretime alınabilir.

Üretime geçişi hızlandıran karar: İlk ajanı bağımsız bir pilot olarak değil, sonraki yapay zekâ ajanlarının da kullanacağı kurumsal altyapının başlangıcı olarak ele alın.

5. Yapay Zekâ Ajanı Testlerini Canlıya Geçişle Bitirmeyin

SharkNinja yılda yaklaşık 25 yeni ürünü pazara sunuyor. Şirketin ürün ve destek ekipleri yapay zekâ ajanını canlıya almadan önce kapsamlı QA testleri gerçekleştiriyordu.

Ancak gerçek müşteriler, ürün ekiplerinin ve QA senaryolarının öngörmediği sorular soruyordu.Bu nedenle SharkNinja, yapay zekâ ajanı testlerini yalnızca lansman öncesinde tamamlanan bir aşama olarak görmekten vazgeçti. Test sürecini sürekli devam eden operasyonel bir çalışma haline getirdi.Çağrı merkezi temsilcileri her gün kısa test oturumları düzenleyerek ajana en zor soruları yöneltiyor, sistemin sınırlarını zorluyor ve standart QA senaryolarının yakalayamadığı durumları ortaya çıkarmaya çalışıyor.Ekip bu çalışmalara “bota saldır” adını veriyor.

SharkNinja Dijital Danışmanı bugüne kadar 250.000’den fazla görüşme gerçekleştirdi. Gerçek müşteri davranışlarını yakından tanıyan çağrı merkezi temsilcilerinin teste dahil edilmesi, ajanın yanıt kalitesinin ve dayanıklılığının sürekli geliştirilmesini sağladı.

Teknoloji Dönüşüm Ortağı Carolin Duerkop, saha ekiplerinin katkısını şöyle özetliyor:

“Bu oturumlar iki haftada, QA senaryolarımızın iki ayda yakaladığından daha fazla kenar durum ortaya çıkardı.”

QA ekipleri beklenen senaryoları sistematik biçimde test eder. Müşterilerle her gün konuşan saha ekipleri ise şirketin henüz düşünmediği senaryoları bulur. Üretime geçişi hızlandıran karar: Yapay zekâ ajanı testlerini canlıya çıkmadan önce tamamlanan bir kontrol listesi olarak değil, üretim boyunca devam eden bir iyileştirme süreci olarak yönetin.

Yapay zekâ ajanlarını üretime taşıyan şirketler, yalnızca ajanın doğru yanıt verip vermediğini test etmiyor. Ajanın gerçek bir iş sürecini güvenli, ölçülebilir ve sürdürülebilir biçimde tamamlayıp tamamlayamadığını değerlendiriyor.