"Ajanlar ekibim oldu." Kulağa hoş geliyor. Çoğu zaman doğru değil.
Ekip, işi devraldığında yükün azalır. Ajan, işi devraldığında yeni bir yük başlar: kontrol.
Bu yazı, ajanı bir mucize olarak değil bir çalışma biçimi olarak ele alıyor. Kurulumu değil yönetimi anlatıyor.
Ajan bir alettir, meslektaş değil
Ajanın çekiciliği şu: hedefi veriyorsun, adımları kendi seçiyor. Otomasyondan farkı burada.
Aynı özellik riskin de kaynağı. Adımları sen yazmadığın için, sonucu da tahmin edemiyorsun. İyi giden bir akış, girdi biraz değiştiğinde başka bir yoldan gidiyor.
Bu yüzden ajan yönetimi programlamadan çok iş tarifi yazmaya benziyor. Ne yapacağını değil, neyi yapmayacağını yazmak asıl iş.
İş tarifi olmayan ajan zarar üretir
Bir çalışana "pazarlamayı hallet" desen ne olur? Ajanda da aynısı oluyor.
İş tarifi dört şeyi içermeli. Girdi nedir, çıktı hangi biçimde olacak, hangi araçları kullanabilir, hangi durumda durup sana soracak?
Dördüncüsü en çok atlanan madde. Duracağı noktayı yazmazsan ajan durmuyor; emin olmadığı yerde de bir şey üretiyor ve o üretim en pahalı çıktı oluyor.
Önce tek bir işi uçtan uca bitir
Yaygın hata orkestra kurmak. Beş ajan, bir yönlendirici, bir hafıza katmanı.
Bir tane kur. Tek bir işi baştan sona götürsün. Çalıştığını üç kez üst üste gördükten sonra ikinciyi düşün.
Ajan sayısı arttıkça hata ayıklama maliyeti doğrusal artmıyor. Hangi ajanın nerede yanlış yaptığını bulmak, işin kendisini yapmaktan uzun sürüyor.
Devredilecek işleri ayır
Devretmenin ölçütü zorluk değil, hatanın maliyeti.
Devret. Tekrar eden, kuralı yazılabilen ve yanlışı ucuz olan işler: taslak, özet, biçim dönüştürme, ilk eleme, arama.
Yarı devret. Ajan öneri üretsin, sen onaylayasın. Fiyat teklifi, müşteri yanıtı, dış yayına gidecek metin.
Devretme. Müşteriyle ilişki, fiyatı savunmak, hatanın sorumluluğunu almak, güvenlik ve hukuk gerektiren kararlar.
Bu üç kova zamanla değişiyor. Ama sıralamayı bozma: ucuz hatadan başla.
Hata payını baştan bütçele
Ajan hata yapacak. Soru şu: hatanın maliyeti kaça mal olur ve kim yakalar?
Her ajan için bir kontrol noktası koy. Çıktıyı kim, ne zaman, neye göre kontrol ediyor? "Ben bakarım" bir kontrol noktası değil; ne zaman bakacağını yazmadıysan bakmıyorsun.
Kontrolü ucuzlatmanın en iyi yolu, çıktıyı kontrol edilebilir biçimde istemek. Serbest metin yerine sabit alanlar. Uzun rapor yerine kısa liste.
Bağlamı kirletme
Ajanların en sessiz sorunu bağlam yığılması. Her yeni belge, her yeni araç ve her yeni talimat çıktıyı iyileştirmiyor.
Fazla bağlam, modelin dikkatini bölüyor. Ellinci sayfadaki kural, ikinci sayfadaki kuralla çelişiyor ve sonuç tahmin edilemez hâle geliyor.
Kural şu: ajanın işini yapmak için gereken en küçük bağlamı ver. Bir talimat üç kez tekrar ediliyorsa ikisini sil.
Aynı şey örnekler için de geçerli. İki iyi örnek, on vasat örnekten daha çok yol gösteriyor.
Loglama yoksa yönetim de yok
Bir ajanın ne yaptığını görmüyorsan onu yönetmiyorsun, ona güveniyorsun.
En basit hâliyle üç şeyi kaydet: hangi girdiyle çalıştı, hangi araçları çağırdı, ne üretti. Bu kayıt olmadan hata ayıklama tahmine dönüşüyor.
Kaydın ikinci faydası maliyet. Hangi adımın pahalı olduğunu ancak kayıt gösteriyor. Ajanın faturası genelde tek bir gereksiz adımdan geliyor.
Maliyeti işe göre ölç, çağrıya göre değil
Aylık fatura tek başına bir şey söylemiyor. Anlamlı ölçü şu: bir işi bitirmenin maliyeti ne?
Bunu bildiğinde fiyatlama da kolaylaşıyor. Bir teslimatın değişken maliyeti belliyse marjını koruyabiliyorsun. Değer bazlı fiyatlama yazısında anlattığımız hesap buradan besleniyor.
Maliyet çıktı başına düşmüyorsa iki şeyden biri yanlış: ya bağlam şişkin ya da ajan gereksiz adım atıyor.
Döngü kur, tek atış yapma
Tek promptla iyi sonuç almak istisna. İyi sonuç döngüden çıkıyor: üret, değerlendir, düzelt.
Bu döngüyü ajan içinde kurabilirsin. Ürettiği çıktıyı bir ölçüte göre kendisi kontrol etsin, geçmediyse yeniden denesin, üç denemede geçmediyse sana getirsin.
Ayrıntısını loop engineering yazısında anlattık. Kısası şu: kalite prompt kalitesinden değil, döngü tasarımından çıkıyor.
İnsan onayını doğru yere koy
Her adımı onaylarsan hız kazanmıyorsun. Hiçbirini onaylamazsan risk alıyorsun.
Onayı geri dönülemez adımların önüne koy. Para harcayan, mesaj gönderen, dosya silen, dışarıya yayın yapan her adım.
Geri alınabilir adımlarda onay isteme. Taslak üretmek, veri toplamak, öneri hazırlamak. Geri alınabilir kararın mükemmel olması gerekmiyor.
Aracı çoğaltma, tek yerde topla
Ajan kurmanın en hızlı yolu, elindeki araçları birbirine bağlamak. En hızlı çökme yolu da bu.
Her yeni entegrasyon bir bakım borcu getiriyor. Bir servis arayüzünü değiştirdiğinde akış sessizce bozuluyor ve bunu genelde müşteri fark ediyor.
Kural: ajanın dokunduğu sistem sayısını üçün altında tut. Daha fazlası gerekiyorsa aradaki adımı önce elle yap, kalıcı olduğunu gördükten sonra bağla.
Gizliliği baştan çöz
Ajan çalışırken senin verinle değil, çoğu zaman müşterinin verisiyle çalışıyor. Bu, teknik bir mesele olmaktan çıkıp sözleşme meselesine dönüyor.
Üç soruyu cevapla: hangi veri modele gidiyor, nerede saklanıyor, ne kadar süreyle tutuluyor? Cevabı bilmiyorsan müşteriye söyleyecek bir şeyin yok demektir.
Müşteri verisiyle çalışacaksan bunu sözleşmeye yaz. Sonradan açıklamak, baştan söylemekten çok daha pahalı.
Ajanı ne zaman kovacaksın
Bir ajan üç durumda kapatılır.
Çıktısını düzeltmek, işi kendin yapmaktan uzun sürüyorsa. Aynı hatayı üçüncü kez yapıyor ve tarif düzeltmesi işe yaramıyorsa. Ya da işin kendisi ortadan kalktıysa.
Kapatmak başarısızlık değil. Çalışmayan bir aleti elinde tutmak, onu kurmuş olmanın gururunu korumak için ödediğin bir vergi.
Kapatırken tarifini sakla. Aynı iş altı ay sonra farklı bir modelle çalışabilir hâle geliyor ve o zaman sıfırdan başlamıyorsun.
Ajanı işe alır gibi dene
Bir çalışanı işe alırken deneme süresi koyuyorsun. Ajanda da aynısını yap.
İki hafta boyunca ajan çalışsın ama çıktısını yayına verme. Aynı işi sen de yap ve iki sonucu karşılaştır. Fark küçükse devret, büyükse tarifi düzelt.
Bu karşılaştırma sıkıcı ama bir kez yapılıyor. Atlarsan aynı karşılaştırmayı müşteri yapıyor ve sonucu sana fatura olarak dönüyor.
Sınır: ajan ekip değildir
Dürüst sınır. Ajan seni bir ekibin yerine geçirmiyor.
Ekip, sorumluluğu paylaşır. Ajan paylaşmaz. Müşteri hatayı senden soruyor, faturayı sen ödüyorsun ve itibarı sen kaybediyorsun.
Ayrıca ajan senin adına karar vermiyor. Hangi işi alacağını, hangi fiyata çalışacağını ve hangi müşteriyle çalışmayacağını hâlâ sen seçiyorsun. Tek kişilik şirket çağında değişen şey üretim; yargı yerinde duruyor.
Bu hafta kurulacak tek ajan
Sistem şeması çizme. Beş ajanlık akış tasarlama.
Haftada en az üç kez tekrar ettiğin bir işi seç. Girdisini, çıktısını, kullanacağı aracı ve duracağı noktayı yaz. Bir hafta boyunca çıktısını kontrol et ve düzelt.
İkinci ajanı, birincisi kontrol gerektirmeyi bıraktığında kur.
Bir hafta sonunda kazandığın zamanı da yaz. Kazanç yoksa ajan bir oyuncak, bir alet değil.
Ajan işi yapar. İş tarifini sen yazarsın.