Neleri ölçüyoruz
Görev doğruluğu, güvenlik bulguları, gerilemeler, doğrulanmış tamamlanmaya kadar süre, insan düzeltmeleri ve token kullanımı.
KANIT PROGRAMI
Önemli olanı ölçüyoruz.
En güçlü ürün anlatısı incelenebilir olandır. Kör değerlendirmemiz sürüyor. Yöntemler ve doğrulanmış sonuçlar burada yayımlanacak.
Kör değerlendirme sürüyor
Karşılaştırmalar nasıl raporlanacak
Karşılaştırılabilir görevler, açıklanmış ajan ve model sürümleri, sabit koşullar ve uygun yerde kör değerlendirme. Raporlarda örneklem büyüklüğü, tarihler ve belirsizlik yer alacak.
Bugün neler mevcut
CodePulse'un ürün yetenekleri belgelenmiştir. Değerlendirme tamamlanana kadar karşılaştırmalı sonuçlar yayımlanmamıştır. Burada model sıralaması veya iyileşme yüzdesi iddia edilmiyor.
CodePulse
Bir sonraki değişikliğinizin arkasında kanıtla durun.
Ajanınızı getirin. Uygulamanızın kontrolünü koruyun. Sürümünüzü kanıtla destekleyin.