NIST’in ARIA programı, yapay zekâ sistemlerinin etkilerini farklı test ortamlarında incelemek için model testi, kırmızı takım çalışmaları ve saha testlerini birlikte ele alır. Program sayfası, yalnızca laboratuvar performansına bakmanın gerçek kullanım koşullarındaki etkileri açıklamaya yetmeyebileceği fikrini öne çıkarır. NIST ARIA kaynak sayfası, çalışmayı tek bir ürün için başarı etiketi olarak değil, değerlendirme yaklaşımı olarak sunar.
Üç test seviyesi neyi değiştiriyor?
Model testi, sistemin teknik davranışını kontrollü koşullarda incelemeye yarar. Kırmızı takım, istenmeyen veya riskli davranışları zorlayıcı senaryolarla arar. Saha testi ise kullanıcı, kurum ve çevre koşullarının sonucu nasıl etkilediğini görmeye çalışır. Bu seviyeler aynı sorunun üç farklı ölçümü değildir; birbirini tamamlayan bakış açılarıdır.
Laboratuvar skoru neden tek başına yetmez?
Bir modelin kontrollü bir testteki sonucu, gerçek dünyadaki kullanım biçimini bütünüyle temsil etmeyebilir. ARIA’nın bağlam vurgusu, değerlendirme planına kullanım senaryosu ve etkilenen tarafların da eklenmesi gerektiğini düşündürür. Kaynakta bulunmayan bir skor, sıralama veya saha sonucu bu metne atfedilemez.