Groq, büyük dil modelleri (LLM’ler) ile web sitesi üzerinden sorgular yapmanıza imkân tanıyan yeni özelliğini kullanıma sundu.
Groq‘un yeni özelliği, kullanıcıların sorguları yazarak veya konuşarak girmelerine olanak tanıyor. Bu özellik, OpenAI’ın Whisper Large V3 modelini kullanarak sesli sorguları metne çeviriyor ve ardından bu metni büyük dil modeli için bir istem olarak ekliyor. Ortaya çıkan sonuçlar, önceki sürümlere kıyasla çok daha hızlı ve akıllı olarak değerlendiriliyor.
Groq’un web sitesinde yer alan motor, varsayılan olarak Meta’nın Llama3-8b-8192 modelini kullanıyor. Bunun yanı sıra, daha büyük kapasiteli Llama3-70b modeli ile bazı Gemma ve Mistral modellerini de kullanmanıza imkân tanıyor. Şirket, yakın zamanda diğer modelleri de desteklemeyi planlıyor.
LPU Teknolojisi
Groq, yapay zekâ görevlerini daha hızlı ve uygun maliyetli bir şekilde gerçekleştirmek için GPU yerine dil işleme birimi (LPU) kullanıyor. LPU’lar doğrusal olarak çalıştığı için yapay zekâ görevlerinde GPU’lardan daha iyi performans gösteriyor. Groq’un teknolojisi, bir GPU’nun gücünün yaklaşık üçte birini kullanıyor. Bu, Google’ın yapay zekâ kaynaklı enerji talebiyle karbon emisyonlarını yüzde 50 artırdığı düşünüldüğünde oldukça verimli bir alternatif sunuyor.
Groq, şu anda 282 binden fazla geliştirici tarafından kullanılıyor. Geliştiriciler, uygulamalarını hızlıca Groq platformuna taşıyabilmeleri için bir konsol sunuluyor. Bu, OpenAI üzerinde uygulama geliştiren yazılımcıların Groq’a geçişini kolaylaştırıyor.
Groq’un Geleceği
Groq’un CEO’su Jonathan Ross, şirketin daha fazla modeli desteklemek için çalıştığını ve yapay zekâ alanında yenilikçi çözümler sunmaya devam edeceğini belirtti. Groq, sunduğu verimli ve güçlü çözümlerle yapay zekâ dünyasında dikkat çekici bir konumda yer alıyor.