NIST’in AI RMF Playbook’undaki Measure bölümü, Map aşamasında tanımlanan risklerin hangi yöntem ve metriklerle izleneceğini açıklıyor. Kaynak, yasal bir denetim protokolü değil; kuruluşların kendi amaç, kullanıcı ve değerlendirme ihtiyaçlarına göre uygulayabileceği gönüllü Suggested Actions seti. Ölçümün amacı tek bir skor üretmekten çok, önemli riskler hakkında karar verilebilir kanıt oluşturmaktır.
MEASURE 1.1 önce önemli riskleri ölçüyor
Measure 1, uygun yöntem ve metriklerin belirlenip uygulanmasını çerçeveliyor. MEASURE 1.1, Map’te sıralanan riskler arasından en anlamlı olanlarla başlanmasını ve ölçülemeyen güvenilirlik özelliklerinin açıkça belgelenmesini öneriyor. Bu yaklaşım, her özelliğe sırf sayısal bir değer verme baskısını azaltır: Bir metrik seçilemiyorsa, bunun nedeni, veri sınırı ve değerlendirme etkisi kayıt altına alınır. NIST ayrıca neyin ölçüleceğinin sistemin amacına, hedef kitlesine ve değerlendirmenin ihtiyacına bağlı olduğunu vurguluyor.
Metrik seçimi dağıtım sonrasında da sürüyor
MEASURE 1.2, metriklerin uygunluğunun ve mevcut kontrollerin düzenli olarak gözden geçirilmesini ister; veri ve model kayması bu gözden geçirmenin gerekçeleri arasında yer alır. MEASURE 1.3 ise geliştirici olmayan iç uzmanların veya bağımsız değerlendiricilerin değerlendirmeye katılmasını ve etkilenen topluluklardan geri bildirim alınmasını öne çıkarır. Uygulamadaki karşılığı, ölçüm planını bir kez onaylanan dosya olarak bırakmamak; yeni veri, değişen kullanım ve kullanıcı deneyimi geldikçe metriklerin neyi gerçekten temsil ettiğini yeniden sınamaktır. Böylece Measure, Map’teki varsayımları gerçek kullanım sinyalleriyle karşılaştıran çalışma döngüsüne dönüşür.