Apple ve Columbia Üniversitesi, görme engelli bireylerin sokakları daha inançlı ve bağımsız biçimde keşfetmesine yardımcı olacak yapay zekâ takviyeli yeni bir sistem geliştirdi. Şimdi araştırma evresinde olan SceneScout isimli prototip, Apple Haritalar datalarını kullanarak sokak görünümlerini betimleyebiliyor.
SceneScout, görme engelli veya az gören şahısların bilmedikleri bir etrafta seyahat etmeye karar verirken karşılaştıkları belirsizlikleri azaltmayı amaçlıyor. Klasik araçların birçok anlık yönlendirmeler sunarken, bu yeni sistem kullanıcıların seyahatten evvel etraf hakkında daha fazla bilgi edinmesini sağlıyor.
Görsel bilgileri metne dönüştürüyor
Kullanıcılar, bir güzergâh boyunca karşılarına çıkabilecek ayrıntıları yahut belli bir bölgedeki ortamı sanal olarak keşfedebiliyor. Geliştirilen sistem iki farklı kullanım moduna sahip. Rota Önizleme modunda kullanıcılar, kaldırım durumu, kavşak yapıları ve otobüs durakları üzere bilgileri rotaya başlamadan evvel görebiliyor. Sanal Keşif modunda ise kullanıcılar kendi ilgi alanlarına nazaran bir etraf tarifi yapabiliyor ve sistem, bu doğrultuda sokakları tanım ederek yönlendirme sunuyor.
SceneScout, Apple Haritalar’dan elde edilen panoramik görüntülerle çalışan GPT-4o tabanlı bir yapay zekâ modeliyle destekleniyor. Görsel bilgileri tahlil eden sistem, bunları kısa, orta yahut uzun açıklamalar hâlinde metne çeviriyor. Web arayüzü, ekran okuyucu teknolojilerine uygun olarak tasarlanmış durumda.
Yapılan birinci testlerde sistem, ekran okuyucu kullanımında tecrübeli 10 görme engelli kişi tarafından denendi. İştirakçiler, bilhassa Sanal Keşif modunu yararlı bulduklarını belirtti. Lakin test sonuçları, sistemin hâlâ birtakım eksiklikler taşıdığını da ortaya koydu. Üretilen açıklamaların yaklaşık %72’si doğruyken, birtakım betimlemelerde yanılgılı bilgiler yer aldı. Örneğin, sesli sinyal bulunmayan bir geçitte bu özelliğin var olduğu belirtildi ya da birtakım sokak tabelaları yanlış tanımlandı.
