Meta, mobil cihazlar için optimize edilmiş dil modeli MobileLLM’i tanıttı.
Meta‘nın yeni dil modeli MobileLLM, 350 milyon parametreli versiyonu ile belirli API çağırma görevlerinde doğruluk açısından 7 milyar parametreli LLaMA-2 modeliyle kıyaslanabiliyor.
Bu yeni model, Meta Reality Labs, PyTorch ve Meta AI Research (FAIR) üyelerinden oluşan bir araştırma ekibi tarafından geliştirildi. Ekip, 1 milyardan daha az parametreye sahip modelleri optimize etmeye odaklandı.
Meta’nın Baş Yapay Zekâ Bilimcisi Yann LeCun‘un paylaştığı bilgilere göre, MobileLLM genişlik yerine model derinliğine öncelik veriyor. Modelde, gömme paylaşımı (embedding sharing) ve gruplanmış sorgu dikkatini (grouped-query attention) uygulayan yeni bir ani blok-bilge ağırlık paylaşımı (immediate block-wise weight-sharing) tekniği kullanılıyor. Bu sayede, benzer boyuttaki önceki modellere kıyasla yüzde 2,7 ila yüzde 4,3 oranında daha iyi performans sağlanıyor.
350 Milyon Parametreli Versiyon
MobileLLM’in 350 milyon parametreli versiyonu, belirli API çağırma görevlerinde doğruluk açısından çok daha büyük olan 7 milyar parametreli LLaMA-2 modeliyle kıyaslanabilir seviyede. Bu durum, daha az hesaplama kaynağı kullanan daha küçük modellerin, bazı özel uygulamalar için benzer işlevsellik sunabileceğini gösteriyor.