Birleşik Krallık Yapay Zeka Güvenlik Enstitüsü’nden bilgisayar bilimcileri ve aralarında Stanford, Berkeley ve Oxford üniversitelerinin de bulunduğu 14 kurumdan 29 araştırmacı, “Önemli Olanı Ölçmek: Büyük Dil Modeli Karşılaştırmalarında Geçerliliği Oluşturmak” başlıklı bir çalışma yürüttü.
Araştırmada bilim insanları, yapay zekanın alt dalları olan “doğal dil işleme” ve “makine öğrenmesi” alanlarındaki büyük konferanslardan alınan 445 değerlendirme testini sistematik olarak inceledi.
Soruşturmanın sonunda testlerin neredeyse tamamının “sonuçların geçerliliğini tehlikeye atabilecek” kusurlara sahip olduğu sonucuna varıldı.
Çalışmanın baş yazarı Oxford İnternet Enstitüsü’nden Andrew Bean, Guardian’a çalışmayla ilgili yaptığı açıklamada, bu testlerin büyük teknoloji şirketleri tarafından piyasaya sürülen en son yapay zeka modellerini değerlendirmek için kullanıldığını söyledi.
Yapay zekaya ilişkin tüm iddiaların temelini değerlendirme testlerinin oluşturduğunu vurgulayan Bean, ortak tanımlar ve sağlıklı ölçümler olmadan modellerin gerçekten gelişip gelişmediğini anlamanın zorlaştığını kaydetti.