Karşılaştırma
Oloproof ve gelişigüzel prompt testleri.
Playground’da göz atmak hızlıdır ve keşif yaparken gerçekten işe yarar. Bir değişiklik kullanıcılara ulaştığı anda artık yetmez.
| Soru | Playground’da göz atma | Oloproof |
|---|---|---|
| Kalite değişti mi? | Birkaç çıktıdan edinilen bir his | Eşleştirilmiş vakalar üzerinde %95 aralıklı bir fark ve bu aralığa dayanarak verilen bir karar |
| Kimin için değişti? | Bilinmiyor | Bildirilen her dilim için: dil, niyet veya herhangi bir meta veri anahtarı, bir ajanın çağırdığı ilk araç, rotası |
| Gelecek çeyrekte yeniden çalıştırabilir misiniz? | Hayır: promptlar ve vakalar artık yok | Evet: paket, sistem sürümü ve değerlendirici sürümleri içerikle adreslenir ve bir örneklem kendi tohum değerini saklar |
| Kötü bir sürümü engeller mi? | Ancak biri bakmayı hatırlarsa | Kapı sıfırdan farklı bir kodla çıkar ve CI işi başarısız olur: bir kural başarısız olduğunda 1, kanıt karar vermediğinde 3 |
| Risk ekibine ya da bir müşteriye ne gösterirsiniz? | Bir yazışma dizisindeki ekran görüntüleri | Dışa aktarılmış bir paket: çalıştırma ile onun paketi, sistemi, değerlendiricileri, vakaları ve onayları |
| İlk sinyale kadar geçen süre | Dakikalar | Yerelde dakikalar, ardından CI’nizin onu çalıştırdığı her değişiklikte |
Göz atmanın hâlâ üstün olduğu yerler
Erken keşif, tek bir tuhaf çıktının hatasını ayıklamak ve bir prompt yazarken yapılan basit kontroller. Bunu yapmaya devam edin. Bir değerlendirme paketi, davranış savunulmaya değecek kadar önemli hâle geldiğinde kurduğunuz şeydir.