Bugün Google'da bilgi aramak, sonuçlar sayfasının en üstünde görünen Gemini destekli arama robotu AI Genel Bakış'la yüzleşmek anlamına geliyor. AI Genel Bakış, 2024 lansmanından bu yana zor bir dönem geçirdi ve kullanıcıların öfkesini çekti.dağınık atış doğruluğu, ancak daha iyiye gidiyor ve genellikle doğru cevabı sağlıyor. Ancak bu düşük bir çıta. Ayeni analizThe New York Times'tan bir kişi, AI Genel Bakışlarının doğruluğunu değerlendirmeye çalıştı ve bunun yüzde 90 oranında doğru olduğunu buldu. İşin diğer tarafı ise yapay zekanın verdiği 10 cevaptan 1'inin yanlış olması ve Google için bu, günün her dakikasında yüzbinlerce yalanın ortaya çıkması anlamına geliyor.
The Times bu analizi, kendisi de yapay zeka modellerinin geliştirilmesiyle yakından ilgilenen Oumi adlı bir startup'ın yardımıyla gerçekleştirdi. Şirket, Gemini gibi üretken modellerin gerçekliğini sıralamak için ortak bir test olan SimpleQA değerlendirmesiyle AI Genel Bakışlarını araştırmak için AI araçlarını kullandı. OpenAI tarafından 2024 yılında piyasaya sürülen SimpleQA, aslında bir yapay zekaya beslenebilecek doğrulanabilir yanıtlara sahip 4.000'den fazla sorudan oluşan bir listedir.
Oumi, Gemini 2.5'in hâlâ şirketin en iyi modeli olduğu geçen yıl testine başladı. O zamanlar kıyaslama yüzde 85'lik bir doğruluk oranı gösteriyordu. Testin ardından tekrar çalıştırıldığındaGemini 3 güncellemesiAI Genel Bakış, soruların yüzde 91'ini doğru yanıtladı. Bu kaçırılma oranını tüm Google aramalarına eklerseniz, AI Genel Bakış her gün on milyonlarca yanlış yanıt üretmektedir.
