Yapay zekâ ajanında “geri sarma” mümkün mü? OrcaReplay kayıt, tekrar ve model karşılaştırması sunuyor
Açık kaynak OrcaReplay, kodlama ajanının bir çalışmasını kaydedip ağ bağlantısı olmadan yeniden oynatmayı ve belirli bir adımdan başka modelle devam ettirmeyi hedefliyor. Gücü kadar hassas veri riski de yüksek.
0 okunma4 dk okumaGitHub
Bir yapay zekâ ajanı gece yarısı yanlış dosyayı sildiğinde aynı hatayı sabah birebir yeniden görmek çoğu zaman mümkün olmaz. Model tekrar çalıştırıldığında farklı yanıt verebilir, araç çıktıları değişebilir ve ağdaki hizmetler başka sonuç döndürebilir. GitHub'daki OrcaReplay, ajan çalışmasını kaydedip çevrimdışı yeniden oynatarak bu belirsizliği azaltmayı amaçlıyor.
Araç; model istekleri ve yanıtlarının yanında araç çağrılarını, terminal çıktılarını, süreç süresini ve dosya değişikliklerini bir iz dosyasında birleştiriyor. Kullanıcı kaydı baştan oynatabiliyor veya belirli bir kontrol noktasından farklı bir modele geçerek aynı konuşma geçmişinde hangi sonucun çıktığını karşılaştırabiliyor.
Üç temel komut ne yapıyor?
Proje Node.js 20 ve üzerini istiyor. Komut satırı aracı küresel olarak şöyle kuruluyor:
npm i -g orcareplay
Ardından desteklenen bir ajan çalışması kaydediliyor:
orca record claude
Son kayıt ağ bağlantısı ve yeni model harcaması olmadan yeniden oynatılabiliyor:
orca replay last
Belirli bir adımdan başka modelle devam etme örneği ise şu mantıkta:
orca replay last --from 4 --model claude-haiku-4-5 --ui
Model adları ve desteklenen ajanlar sürüme göre değişebileceği için güncel belge kontrol edilmeli. Tekrar oynatma geçmiş yanıtları yeniden üretir; kayıt noktasından sonra yeni modele geçilen bölüm yeni API çağrısı ve ücret oluşturabilir.
Hangi sorunu çözüyor?
- Bir göç dosyasını silen aracın hangi komut ve yanıt zincirinden geçtiğini kanıtlarıyla incelemek.
- Aynı hata düzeltme görevini belirli bir adımdan iki farklı modele verip sonuçları test komutuyla karşılaştırmak.
- Ajanın gerçek sistem istemini ve araç çevresini kaydederek geliştirme ile üretim arasındaki davranış farkını araştırmak.
Örnek inceleme isteği şöyle kurulabilir:
“Dördüncü adımdan iki ayrı modelle dallan. Her dalı ağ kapalı test ortamında çalıştır, dosya farkını ve test sonucunu karşılaştır. Kaynak depoya yazma; yalnız geçici kopyada çalış.”
Bu yaklaşım model değerlendirmesini daha tekrarlanabilir kılabilir. Yine de işletim sistemi, saat, rastgelelik ve haricî araçlar tam olarak kayda alınmadıysa “birebir” sonucu her ortamda garanti edemez.
En kritik konu: Kayıt neyi görebilir?
OrcaReplay'in gücü aynı zamanda en büyük riski. Yerel vekil sunucu, model API'sine giden konuşma geçmişini, istemleri ve araç sonuçlarını görebiliyor. Yönlendirme kabul etmeyen ajanlar için isteğe bağlı TLS araya girme yöntemi de sunuluyor. Bu yöntem kurumsal güvenlik politikasını, sertifika zincirini ve hizmet koşullarını etkileyebilir; anlaşılmadan etkinleştirilmemeli.
Kayıtlar API anahtarları, kişisel veri, kaynak kodu sırları, müşteri dosyaları veya erişim belirteçleri içerebilir. İz dosyası hata raporuna yüklenmeden önce otomatik temizliğe güvenmek yerine elle incelenmeli. Deneme, ayrı kullanıcı hesabında, geçici depo kopyasında ve düşük yetkili anahtarlarla yapılmalı.
Ücretsiz mi?
OrcaReplay'in kodu Apache 2.0 lisansıyla açık; iz biçimi CC BY 4.0 lisansıyla yayımlanıyor. Çevrimdışı replay yeni model tokenı tüketmiyor. Ancak ilk kaydın kullandığı ajan ve model, dallanma sırasında seçilen yeni model ve varsa yönlendirme hizmeti ayrı ücret doğurabilir.
Benzer araçlardan farkı
Geleneksel gözlem araçları maliyet, gecikme ve iz dizisini gösterir. OrcaReplay'in iddiası, aynı kaydı çevrimdışı oynatmak ve herhangi bir adımdan başka modelle dallanmak. Bu özellik hata ayıklama ve model kıyaslaması için güçlü; fakat bir güvenlik yedeği, erişim kontrol sistemi veya silinen dosyayı otomatik geri getiren araç değil.
Kayıt ile yedek aynı şey değil
Bir iz dosyası, ajanın hangi aracı çağırdığını ve hangi dosya değişikliğinin gözlendiğini gösterebilir; kaynak deponun önceki hâlini güvenilir biçimde geri getirme garantisi vermez. Denemeden önce ayrı bir Git dalı veya geçici çalışma ağacı oluşturmak, önemli veritabanının gerçek yedeğini almak ve ajan hesabının yazma yetkisini sınırlamak gerekir. “Replay var” düşüncesi, geri dönüş planının yerini almamalı.
Model karşılaştırmasında da tek bir dallanmanın genellenmesi sakıncalı. Aynı kontrol noktasından çıkan iki sonuç; model kalitesi yanında araç izinleri, sistem istemi, sıcaklık, dosya durumu ve test kapsamından etkilenir. Sağlıklı bir değerlendirme için aynı görev sınıfında birden fazla örnek, önceden belirlenmiş başarı ölçütü ve kör insan incelemesi kullanılabilir.
İz dosyaları ekip içinde paylaşılacaksa saklama süresi, kimlerin erişebileceği ve silme süreci tanımlanmalı. Kayıt, konuşma geçmişinin tamamını taşıyabileceği için sıradan bir terminal ekran görüntüsünden daha hassas olabilir. Sıkıştırılmış arşiv içinde bile anahtar veya müşteri verisi bulunabileceği varsayılmalı.
Okuyucu bugün ne yapabilir?
Hassas bilgi içermeyen örnek bir depoda, düşük maliyetli tek bir ajan çalışmasını kaydedip çevrimdışı replay ile terminal çıktısını karşılaştırabilir. TLS araya girme seçeneği kapalı tutulmalı; normal yönlendirme yöntemiyle başlanmalı. İz dosyasının içine hangi verilerin yazıldığı görülmeden gerçek projeye geçilmemeli.
İlk başarılı denemede ölçü basit tutulabilir: Ajan bir metin dosyasına tek satır eklesin, bir test komutu çalıştırsın ve kayıt yeniden oynatıldığında adım sırası karşılaştırılsın. Böylece güçlü ama hassas yakalama katmanları üretim koduna dokunmadan anlaşılır.
Ajanların yalnız sonucunu değil, sonuca giden yolu da denetlenebilir kılan açık kaynak projeleri uygulamalı biçimde izlemek için Mülk Rehberi Gazetesi'ni takip edin.