New York Times'ın yapay zeka girişimi Oumi ile yaptığı analize göre Google'ın Yapay Zeka Genel Bakışı, standart bir olgusal karşılaştırmaya Şubat ayında %91 oranında doğru yanıt verdi; bu oran Ekim ayında %85'ti.
Ancak Google yönetirYılda 5 trilyondan fazla aramaBu da her saat başı on milyonlarca yanıtın yanlış olabileceği anlamına geliyor.
Neden önemsiyoruz?. İki yılı aşkın bir süredir Google'ın kaynaklara bağlantı vermekten bunları özetlemeye geçişini izledik. Bu rapor, AI Genel Bakışlarının geliştiğini ancak yine de doğru yanıtları, zayıf kaynak kullanımını ve açık hataları, arama yapanları yanıltabilecek ve hangi yayıncıların görünürlük ve tıklama alacağını yeniden şekillendirebilecek şekillerde karıştırdığını öne sürüyor.
Ayrıntılar. Times'ın haberine göre Oumi, yapay zeka sistemlerinde gerçek doğruluğu ölçmek için yaygın olarak kullanılan bir kıyaslama olan SimpleQA'yı kullanarak 4.326 Google aramasını test etti. Yapay Zeka Genel Bakışlarının Gemini 2'de %85, Gemini 3'e yükseltme sonrasında ise %91 oranında doğru olduğu tespit edildi.
- Daha büyük sorun kaynak bulmak olabilir. Oumi, Şubat ayında verilen doğru yanıtların yarısından fazlasının "temelsiz" olduğunu, yani bağlantılı kaynakların yanıtı tam olarak desteklemediğini buldu.
- Bu, doğrulamayı zorlaştırır. Cevap doğru olabilir ancak alıntı yapılan sayfalar bunun nedenini açıkça göstermiyor olabilir.
Ne değişti. Doğruluk Ekim ve Şubat ayları arasında arttı, ancak temelleme kötüleşti. Ekim ayında doğru yanıtların %37'si asılsızdı; Şubat ayında bu oran %56'ya yükseldi.
Örnekler. The Times birkaç gözden kaçan şeyin altını çizdi:
- Bob Marley'in evinin ne zaman müze haline geldiğine dair bir soruya Google 1987 cevabını verdi; Times'a göre doğru yıl 1986'ydı ve adı geçen kaynaklar iddiayı desteklemiyor veya çelişiyordu.
- Yo-Yo Ma ve Klasik Müzik Onur Listesi hakkında bir sorgu için Google, kuruluşun sitesine bağlantı verdi ancak yine de onun göreve başladığına dair bir kayıt olmadığını söyledi.
- Başka bir durumda Google, Dick Drago'nun ölüm yaşını doğru verdi ancak ölüm tarihini yanlış bildirdi.
Google'ın yanıtı:Google, çalışmanın hatalı bir kıyaslama kullandığını ve insanların gerçekte aradıklarını yansıtmadığını söyleyerek Times'ın analizine itiraz etti. Google sözcüsü Ned Adriance, Times'a çalışmanın "ciddi boşluklar" içerdiğini söyledi.
- Google ayrıca AI Genel Bakışlarının, spam'i azaltmak için arama sıralamasını ve güvenlik sistemlerini kullandığını söyledi ve AI yanıtlarının hatalar içerebileceği konusunda uzun süredir uyardı.
Rapor.Google'ın Yapay Zekası Ne Kadar Doğru? Genel bakış?(abonelik gereklidir)
