Yapay zeka dayanaklı sohbet robotları, sınıflardan ofislere ve günlük hayatımıza kadar her yerde karşımıza çıkıyor. Fakat bu araçların can sıkıcı bir sorunu var: Bazen büsbütün temelsiz, uydurma bilgiler üretebiliyorlar. Bu duruma “halüsinasyon” ismi veriliyor. OpenAI, bu sorunun nedenini çözdüğünü ve gelecekteki yapay zeka araçlarını çok daha emniyetli hale getirecek bir tahlil bulduğuna inanıyor. İşte ayrıntılar.
Sorun yapay zekanın kıymetlendirme yönteminde
OpenAI, Georgia Tech’ten Santosh Vempala ve öteki araştırmacılarla birlikte yayımladığı 36 sayfalık makalede, bu mevzuyu derinlemesine inceledi. Araştırmacılar, halüsinasyonların model dizaynındaki bir eksiklikten değil, yapay zekâ sistemlerinin test edilme ve sıralanma biçiminden kaynaklandığını öne sürüyor.
Mevcut kıymetlendirme formülleri, bir sohbet robotunu her soruya yanıt verdiği için ödüllendirirken, emin olmadığı vakitlerde sessiz kalan modelleri cezalandırıyor. Bunu, bilmediği soruları boş bırakmak yerine, rastgele karşılık veren bir öğrenciyi ödüllendiren çoktan seçmeli bir imtihana benzetebiliriz.
Bu sorunu çözmek için yapılan açıklamada puanlama sisteminin tam bilakis çevrilmesini öneriyor: Yanlış olduğu halde kendinden emin bir biçimde verilen karşılıklar, modele karşı güçlü bir formda cezalandırılmalı. Bunun yanı sıra, dikkatli davranıp belirsizliğini belirten yahut “bilmiyorum” diyen modeller ödüllendirilmeli.
Bu yeni yaklaşımın farkını gösteren birinci örnekler epeyce aydınlatıcı. Bir testte, temkinli bir model soruların yalnızca yarısına yanıt veriyor lakin bu karşılıkların yüzde 74’ü hakikat çıkıyor. Öteki bir model ise neredeyse tüm soruları cevaplıyor fakat her dört karşılıktan üçünde halüsinasyon görüyor.
Bu yaklaşım kabul edilirse, yapay zekâ asistanlarının günlük davranışları büsbütün değişebilir. Artık uydurma bir kaynak yahut istatistik üretmek yerine, “Bu bahiste emin değilim” ya da “Bilmiyorum” üzere yanıtlar vermeleri daha mümkün hale gelecek.
Bu, birinci bakışta daha az etkileyici görünse de, kullanıcıların yanıtları daima denetim etme zorunluluğunu ortadan kaldırarak çok daha sağlam bir tecrübe sunabilir. OpenAI için bu araştırma, gösterişli lakin güvenilmez bir özgüven yerine, doğruluğa ve inanca paha veren bir yapay zekâya yanlışsız atılan değerli bir adım.
