Herkes prompt yazmayı öğreniyor. Yanlış katman.
Tek bir istek, tek bir sonuç verir. İşin tekrar ettiği yerde tek seferlik sonuç işe yaramaz.
Kaliteyi belirleyen şey isteğin şıklığı değil, döngünün tasarımı. Loop engineering bunun adı: üret, ölç, düzelt, tekrar.
Tek atış tesadüftür
İlk denemede iyi bir çıktı aldıysan sevin. Sonra aynı isteği farklı bir girdiyle çalıştır.
Çoğu zaman kalite düşer. Çünkü ilk sonuç, isteğin gücünden değil o girdinin kolaylığından geldi.
Tekrar edilemeyen kalite, kalite değildir. Müşteri ikinci teslimatta ilkinin aynısını bekliyor ve "bu sefer model tuhaf davrandı" bir açıklama değil.
Döngü üç parçadan oluşur
Bir döngü basit görünüyor ama üç parçası da yazılmak zorunda.
Üretim. Girdi ve istek. Burası herkesin uğraştığı yer.
Değerlendirme. Çıktının geçmesi gereken ölçüt. Burası çoğu kişinin atladığı yer.
Düzeltme. Ölçütü geçmeyen çıktıya ne yapılacağı. Yeniden mi üretilecek, hangi bilgiyle?
Üçü olmadan elinde döngü değil, tekrar eden bir umut var.
Ölçüt yoksa öğrenme de yok
"Beğendim" bir ölçüt değil. Değerlendirmeyi zevkine bıraktığın anda döngü öğrenmiyor.
Ölçüt yazmak sanıldığından kolay. Çıktının içermesi gerekenleri, içermemesi gerekenleri, biçimini ve uzunluğunu yaz. Beş madde çoğu iş için yetiyor.
Ölçütü yazarken kendine şu soruyu sor: bunu benim yerime başka biri kontrol edebilir mi? Cevap hayırsa ölçüt yeterince net değil.
Değerlendirmeyi de modele yaptırabilirsin
Ölçüt yazılıysa değerlendirme adımını da modele verebilirsin. Bir çıktı, bir ölçüt listesi ve tek soru: hangi maddeler geçti, hangileri geçmedi?
Bu, kontrol yükünü ciddi biçimde azaltıyor. Ama bir tuzağı var: aynı modele hem üretimi hem değerlendirmeyi verirsen kendi işini beğenme eğilimi çıkıyor.
Pratik çözüm, değerlendirmeyi ayrı bir çağrıda ve çıktıyı "senin işin" diye tanıtmadan yapmak. Aynı model, farklı rol.
Düzeltme rastgele olmamalı
Ölçütü geçmeyen çıktıyı "tekrar dene" demek en zayıf düzeltme.
Doğrusu, hangi maddenin geçmediğini söyleyip yalnızca onu düzelttirmek. Tüm metni yeniden ürettiğinde geçen maddeler de bozulabiliyor.
Bir de düzeltme sınırı koy. Üç denemede geçmiyorsa sorun çıktıda değil, isteğin kendisinde veya girdide. Döngüyü durdur ve tarifi düzelt.
Girdiyi düzeltmek çıktıyı düzeltmekten ucuz
En sık atlanan nokta: kötü çıktıların çoğu kötü girdiden geliyor.
Eksik bilgi, çelişen talimat, dağınık kaynak. Model bunları düzeltmiyor, üstüne bir kat daha ekliyor.
Döngüyü kurmadan önce girdiyi temizle. Aynı işi anlatan üç belge varsa birini seç. Çelişen iki kural varsa hangisinin geçerli olduğunu yaz.
Döngüyü küçük tut
Uzun döngüler hata ayıklanamıyor. On adımlı bir akışta hangi adımın bozulduğunu bulmak, işi elle yapmaktan uzun sürüyor.
İki ya da üç adımla başla. Her adımın çıktısını görebilecek şekilde ayır.
Küçük döngünün ikinci faydası maliyet. Uzun akışlar, işe yaramayan adımlar için de ödeme yapıyor.
Maliyeti döngü başına ölç
Aylık fatura hiçbir şey söylemiyor. Ölçülecek şey şu: bir çıktının ölçütü geçene kadar toplam kaça mal olduğu.
Bu sayıyı bildiğinde iki karar kolaylaşıyor. Fiyatını savunabiliyorsun ve hangi adımın pahalı olduğunu görebiliyorsun.
Genelde maliyet, gereksiz uzun bağlamdan çıkıyor. Kırk sayfa belge göndermek bir çözüm gibi hissettiriyor, faturaya öyle yansımıyor.
Aynı döngüyü insanlara da kur
Loop engineering yalnızca modelle çalışırken geçerli değil. İşin kendisi de bir döngü.
Komünite'de programların yapısı bu: gerçek bir görev seçiyorsun, çıktıyı diğer üyelerin review'undan geçiriyorsun, aldığın geri bildirimle ikinci sürümü çıkarıyorsun.
Model döngüsüyle insan döngüsü aynı mantığa dayanıyor. Fark şu: insan review'u, modelin göremediği bağlamı yakalıyor. İkisini üst üste koyduğunda kalite gerçekten yükseliyor.
Çıktıyı biçime bağla
Serbest metin, kontrolü zorlaştırıyor. Aynı bilgiyi her seferinde farklı sırayla veren bir çıktıyı ne sen ne de bir kontrol adımı hızlı okuyabiliyor.
Çıktıyı sabit alanlara bağla. Başlık, üç madde, kaynak, uyarı. Sabit biçim iki iş görüyor: kontrol hızlanıyor ve eksik alan hemen görünüyor.
Biçim aynı zamanda ölçütün yarısını yazıyor. "Kaynak alanı boşsa geçmez" gibi bir kural, uzun bir kalite tarifinden daha net işliyor.
Sürüm tut, üstüne yazma
İsteği her düzelttiğinde eskisini silme. Üç hafta sonra hangi değişikliğin kaliteyi bozduğunu bulmak isteyeceksin.
Basit bir sürüm defteri yeter: tarih, ne değişti, neden değişti. Karmaşık bir araç gerekmiyor.
Bunu yapmayan çoğu kişi aynı düzeltmeyi ikinci kez yapıyor. Üstelik bu sefer neyi geri aldığını bilmeden.
Modelin değiştiği günü hesaba kat
Model sürümleri değişiyor ve aynı istek dün verdiği sonucu bugün vermeyebiliyor.
Bu, kontrol edemediğin bir değişken. Kontrol edebileceğin şey ölçütün ve değerlendirme setin. Elinde yirmi örneklik bir set varsa yeni sürümü bir saatte test edip karar veriyorsun.
Set yoksa yeni sürüm bir sürprize dönüşüyor ve sürprizi genelde müşteri buluyor.
Değerlendirme setini biriktir
Her düzelttiğin hata bir sonraki döngünün malzemesi. Ama not almazsan aynı hatayı üç ay sonra tekrar düzeltiyorsun.
Basit bir dosya tut: girdi, beklenen çıktı, gerçekleşen çıktı, hata türü. Yirmi satırlık bir dosya bile çok şey öğretiyor.
Bu dosya zamanla senin kalite ölçütüne dönüşüyor. Yeni bir model çıktığında da elinde karşılaştıracak gerçek bir set oluyor, reklam cümleleri değil.
Döngüyü ne zaman durduracaksın
Döngü kendi başına iyi bir şey değil. Durdurma kuralı olmayan döngü para yakıyor.
Üç durma kuralı yaz. Çıktı ölçütü geçtiğinde dur. İyileşme durduğunda dur, yani iki tur üst üste aynı hataları alıyorsan. Ve maliyet faydayı aştığında dur.
Üçüncüsü en çok ihlal edilen kural. Bir çıktıyı mükemmelleştirmek için harcanan yarım gün, çoğu zaman müşterinin fark etmediği bir farkı üretiyor.
Döngüyü müşteriye anlatma biçimi
Müşteri döngü satın almıyor, sonuç satın alıyor. Ama döngünün varlığı satışta işine yarıyor.
Şunu söyleyebiliyorsun: çıktı şu ölçütlere göre kontrol ediliyor, geçmezse tekrar üretiliyor, üç denemede geçmezse insan bakıyor. Bu cümle, "yapay zekâ kullanıyoruz" cümlesinden çok daha fazla güven veriyor.
Kalite vaadini de buradan kur. Vaat "hatasız" değil, "kontrol edilmiş" olsun. Birincisi tutulamaz, ikincisi tutulur.
Sınır: her iş döngüye uygun değil
Dürüst sınır. Döngü, tekrar eden ve ölçütü yazılabilen işlerde çalışıyor.
Ölçütü yazamadığın iş varsa döngü de kuramıyorsun. Yaratıcı yön kararı, stratejik tercih ve insan ilişkisi bu kovada. Buralarda model taslak üretir, kararı sen verirsin.
Bir de tek seferlik işler var. Bir defa yapılacak bir iş için döngü kurmak, işin kendisinden pahalı.
Döngüyü belgelemek zorundasın
Kafanda duran döngü, döngü değil. İki hafta sonra hangi ölçütle çalıştığını hatırlamıyorsun.
Tek sayfalık bir belge yeter: girdi, istek, ölçüt maddeleri, durma kuralı. Bu belge aynı zamanda işi devretmenin de tek yolu.
Devretmeyi düşünmüyor olabilirsin. Yine de yaz: yarın kendi işini devralacak kişi de sensin.
Bu hafta kurulacak döngü
Model karşılaştırma tablosu yapma. Prompt kütüphanesi kurma.
Haftada üç kez tekrar ettiğin bir işi seç. Beş maddelik bir ölçüt yaz. Üç kez çalıştır, geçmeyen maddeleri düzelt, dördüncüde ölçütü güncelle.
Bir hafta sonunda elinde bir prompt değil, çalışan bir döngü olacak. Ajanları yönetmenin temeli de bu.
Bir de şunu ölç: aynı işi döngüsüz yaparken kaç düzeltme turu atıyordun? Fark, döngünün gerçek getirisi.
İyi çıktı iyi istekten çıkmıyor. İyi döngüden çıkıyor.