Kılavuzlar
Buradan başlayın
Oloproof'un ne yaptığı, ne zaman kullanılıp ne zaman kullanılmayacağı ve bu kılavuzların hangi sırayla okunacağı: tek bir uygulamanın ilk değerlendirmesinden sürümleri karşılaştırmaya, incelemeye, CI'a ve kesin sözleşmelere kadar.
Oloproof ne yapar
Oloproof yapay zekâ uygulamanızı sabit bir vaka kümesi üzerinde çalıştırır, her çıktıyı seçtiğiniz değerlendiricilerle denetler ve sonuçları aralıklı oranlara dönüştürür. Ardından yazdığınız bir sürüm politikası her kuralı PASS, FAIL, INSUFFICIENT_EVIDENCE ya da MANUAL_REVIEW olarak karara bağlar ve komut bu kararla çıkar; böylece CI onu kullanabilir. Her şey sizin makinenizde çalışır; bir çalıştırmayı barındırılan bir çalışma alanına push etmedikçe hiçbir şey makinenizden çıkmaz. Terimler Temel kavramlar sayfasında tanımlanmıştır.
Bir uygulamanın güvendiğiniz vakalarda belirtilmiş bir çıtayı karşılayıp karşılamadığını, bu yanıtın ne kadar kesin olduğunu ve bir değişikliğin onu iyileştirip iyileştirmediğini bilmeniz gerektiğinde kullanın. Oloproof sisteminizi çağırır; onu barındırmaz, yalıtılmış bir ortama koymaz ya da sıfırlamaz; uygulamanız kendi durumunun, oturumlarının ve araç yan etkilerinin sahibidir. Sistem türüne göre neyin yapılmış neyin yapılmamış olduğu için, karar vermeden önce Bugün neler çalışıyor sayfasını okuyun.
Bu kılavuzlar Oloproof 0.1.0a5'i anlatır. pip show oloproof kurulu sürümü yazdırır; daha eski bir sürümde burada gösterilen bir komut ya da bayrak, örneğin oloproof init --example, eksik olabilir ve pip install --upgrade --pre oloproof onu günceller.
Yolculuk
| Adım | Ne yaparsınız | Okuyun |
|---|---|---|
| 1 | Oloproof'un ne yaptığını ve ne zaman kullanılacağını öğrenin | Bu sayfa, Temel kavramlar, Bugün neler çalışıyor |
| 2 | İlk uygulamanızı temel olmadan değerlendirin | Hızlı başlangıç |
| 3 | Sistem türünüz için bir kılavuz seçin | Aşağıdaki tablo |
| 4 | Başarısızlıkları inceleyin ve sonucu anlayın | Paketler, Hatalar, Kümelenmiş vakalar, Dilimler |
| 5 | Sistemi değiştirin ve sürümleri karşılaştırın | Karşılaştırma, Karşılaştırma kuralları |
| 6 | İnsan incelemesi, iş birliği ve CI ekleyin | Hakemler, Kapı denetimi, CI, Bildirimler |
| 7 | Kesin teknik sözleşmelere bakın | Yapılandırma, SDK başvurusu, Sonuçlar, CLI |
İlk değerlendirme bir temele ihtiyaç duymaz: uygulamanızın tek bir sürümünün gereksinimlerinizi karşılayıp karşılamadığını sorar. İki sürümü karşılaştırmak, karşılaştırmaya değer bir çalıştırmanız olduğunda 5. adımda gelir.
Sistem türünüzü seçin
| Sisteminiz | Başlangıç noktası |
|---|---|
| Bir sınıflandırıcı, yönlendirici ya da yapılandırılmış çıktı (bir etiket, bir JSON nesnesi) | Sınıflandırma |
| Serbest metin: yanıtlar, özetler, çıkarım | Metin üretimi |
| Herhangi bir dilde, HTTP üzerinden ulaştığınız bir hizmet | Bir HTTP uç noktası |
| Getirmeyle güçlendirilmiş üretim | RAG |
| Araç kullanan bir ajan ya da birkaç ajan | Ajanlar |
| Eğitilmiş bir tahminsel model (sınıflandırma ya da regresyon) | Tahminsel modeller |
| Çok turlu bir konuşma | Konuşmalar |
Görüntü, ses ve videonun yerel desteği yoktur: bir vaka sisteminiz üzerinden bir URL ya da kodlanmış bir dosya taşıyabilir ve özel bir değerlendirici çıktıyı denetleyebilir, ama hakemler yalnızca JSON metni görür.