Google'ın Gemini AI modelleri geçen yıl büyük bir hızla gelişti, ancak Gemini'yi yalnızca Google'ın şartlarına göre kullanabilirsiniz. Şirketin Gemma açık ağırlıklı modelleri daha fazla özgürlük sağladı ancak piyasaya sürülen Gemma 3bir yıldan fazla bir süre önce, dişte biraz uzuyor. Bugünden itibaren geliştiriciler aşağıdakilerle çalışmaya başlayabilir:Gemma 4Yerel kullanım için optimize edilmiş dört boyutta sunulur. Google ayrıca geliştiricilerin AI lisanslama konusundaki sıkıntılarını da kabul etti, bu nedenle özel Gemma lisansını kaldırıyor.
Açık ağırlıklı modellerinin geçmiş versiyonları gibi Google da Gemma 4'ü yerel makinelerde kullanılabilecek şekilde tasarladı. Bu pek çok anlama gelebilir elbette. İki büyük Gemma çeşidi, 26B Mixture of Experts ve 31B Dense, tek bir 80 GB Nvidia H100 GPU'da bfloat16 formatında ölçülenmemiş olarak çalışacak şekilde tasarlanmıştır. Kabul ediyorum, bu 20.000 dolarlık bir yapay zeka hızlandırıcısı ama yine de yerel donanım. Daha düşük hassasiyette çalışacak şekilde nicelenirse, bu büyük modeller tüketici GPU'larına sığacaktır.
Google ayrıca Gemma'nın yerel işlemesinden gerçekten yararlanmak için gecikmeyi azaltmaya odaklandığını iddia ediyor. 26B Uzman Karması modeli, 26 milyar parametresinden yalnızca 3,8 milyarını çıkarım modunda etkinleştirir ve bu da ona benzer boyutlu modellere göre çok daha yüksek saniyede token sağlar. Bu arada 31B Dense, hızdan çok kaliteyle ilgilidir, ancak Google, geliştiricilerin bunu belirli kullanımlar için ince ayar yapmalarını beklemektedir.
