HaberlerYayınlandı:
Anthropic'ten FlashProve: Yanıtı hangi yapay zekâ modelinin verdiği kanıtlanabilecek
Anthropic, bir çıktının hangi modelden geldiğini kriptografik olarak kanıtlayan açık kaynaklı FlashProve sistemini tanıttı. Proje araştırma aşamasında.
Bir yapay zekâ uygulamasına soru sorduğunuzda, yanıtın gerçekten seçtiğiniz modelden geldiğinden nasıl emin olabilirsiniz? Anthropic, bu soruya teknik bir cevap arıyor. TechCrunch'ın aktardığına göre şirket, salı günü yayınladığı bir blog yazısında FlashProve adlı açık kaynaklı bir sistem üzerinde çalıştığını açıkladı.
“Kanıtlanabilir çıkarım” ne demek?
Araştırmacılar bu fikre provable inference, yani kanıtlanabilir çıkarım diyor. Amaç, bir çıktının belirli bir modelden geldiğini gösteren kriptografik bir kanıt, kısacası matematiksel bir garanti sunmak. Mantık, e-postalardaki dijital imzalara benziyor: Alıcı, mesajın gerçekten iddia edilen kişiden geldiğini doğrulayabiliyor.
Sistemin en dikkat çekici yanı, sahtekârın modeli geliştiren şirketin kendisi olduğu durumlarda bile işe yarayacak şekilde tasarlanması. Araştırmacılara göre FlashProve, bir şirketin maliyeti düşürmek için gizlice daha ucuz bir modele geçmesini ya da sonuçları şişirmek için daha pahalı bir model kullanmasını engelleyebilir. Üçüncü tarafların, örneğin bir yazılım kütüphanesinin güçlü bir güvenlik modeliyle tarandığı iddialarını doğrulamak için de kullanılabilir.
Nasıl çalışıyor?
Sistem, yapay zekâ laboratuvarlarının yayınladıkları her model için bir “parmak izi” paylaşmasını gerektiriyor. Çıktılar daha sonra bu parmak iziyle kriptografik olarak eşleştiriliyor. Önemli nokta şu: Parmak izi, modelin davranışını belirleyen ve kapalı model üreticilerinin sakladığı ağırlıkları açığa çıkarmıyor. Doğrulama da yerel bir cihazda yapılabilecek kadar hafif tasarlanmış.
Henüz bir araştırma
Teknik şartname ve çalışan kodun bir kısmı GitHub'da açık kaynak lisansla yayınlandı. Ancak araştırma sürüyor ve sistemi Anthropic'te ya da başka bir laboratuvarda kullanıma sokma planı şimdilik yok. Araştırmacılar, başkalarının bu çalışmayı alıp geliştirmesini istediklerini söylüyor.
Bence fikir çok yerinde. Yapay zekâ hizmetlerine giderek daha çok para ve güven yatırıyoruz, ama perde arkasında hangi modelin çalıştığını bilmenin bir yolu yok. Böyle bir doğrulama standart hâline gelirse kullanıcı açısından önemli bir adım olur.
Kaynak: techcrunch.com