Meta heeft officieel aangekondigd De meest geavanceerde reeks kunstmatige intelligentiemodellen tot nu toe: de LLAMA 4 -familie. Deze nieuwe generatie omvat Lama 4 Scout en Lama 4 Maverick, de eerste van de open-gewicht modellen van Meta die native multimodaliteit en ongekende contextlengtesteun bieden. Deze modellen markeren ook het eerste uitstapje van Meta om een mix-van-experts (MOE) architectuur te gebruiken. Meta gaf ook een voorbeeld van Lama 4 Behemoth, een zeer intelligente LLM die momenteel in training is, ontworpen om als leraar te dienen voor toekomstige modellen.
Deze belangrijke update van het LLAMA -ecosysteem arriveert ongeveer een jaar na de release van LLAMA 3 in 2024het onderstrepen van de toewijding van Meta om innovatie in de AI -ruimte te openen. Volgens meta is het openlijk beschikbaar stellen van leidende modellen cruciaal voor het bevorderen van de ontwikkeling van gepersonaliseerde ervaringen.
Scout en Maverick: multimodale modellen met innovatieve architectuur
LLAMA 4 Scout en Lama 4 Maverick zijn de eerste efficiënte modellen in deze serie. LLAMA 4 Scout beschikt over 17 miljard actieve parameters in 16 experts, terwijl LLAMA 4 Maverick ook 17 miljard actieve parameters beschikt, maar maakt gebruik van een grotere pool van 128 experts binnen de MOE -architectuur. Meta benadrukt de efficiëntie van dit ontwerp en merkt op dat LLAMA 4 Scout kan passen op een enkele H100 GPU (met INT4 -kwantisatie) en LLAMA 4 Maverick op een enkele H100 -gastheer, waardoor een gemakkelijkere implementatie wordt vergemakkelijkt.
De acceptatie van een architectuur van een mengsel (MOE) is een belangrijke vooruitgang. In MOE-modellen worden slechts een fractie van de totale parameters geactiveerd voor elk token, wat leidt tot een meer rekenefficiënte training en gevolgtrekking, waardoor uiteindelijk een hogere kwaliteit wordt geleverd voor een bepaald rekenbudget. LLAMA 4 Maverick heeft bijvoorbeeld 400 miljard totale parameters, maar slechts 17 miljard zijn actief tijdens gebruik.
Zowel LLAMA 4 Scout als Lama 4 Maverick zijn native multimodaal, met vroege fusie om naadloos tekst- en visie -tokens in een uniform modelbackbone te verwerken. Dit zorgt voor gezamenlijke pre-training op enorme hoeveelheden niet-gelabelde tekst-, afbeelding- en videogegevens. Meta heeft ook de visiecoder in LLAMA 4 verbeterd, voortgebouwd op Metaclip, maar deze afzonderlijk trainen naast een bevroren lama -model voor betere aanpassing.
LLAMA 4 Behemoth: een lerarenmodel met veelbelovende benchmarks
Meta gaf een kijkje in Lama 4 Behemoth, een door leraren gericht model met een verbluffende 288 miljard actieve parameters en bijna twee biljoen totale parameters voor 16 experts. Meta beweert dat kolos beter presteert dan toonaangevende modellen zoals GPT-4.5, Claude Sonnet 3.7, en Gemini 2.0 Pro op stengelgerichte benchmarks zoals MATH-500 en GPQA Diamond. Hoewel Lama 4 Behemoth nog steeds in training is en nog niet beschikbaar is, speelde het een cruciale rol in het “codistilleren” van het Lama 4 Maverick -model, wat leidt tot aanzienlijke kwaliteitsverbeteringen.
Contextlengte en meertalige mogelijkheden
Een opvallend kenmerk van de LLAMA 4 -modellen is hun aanzienlijk verhoogde contextlengte. Lama 4 Scout leidt de industrie met een 10 miljoen tokeninvoer -contextvenster, een dramatische toename van de 128K van Lama 3. Deze uitgebreide context maakt geavanceerde mogelijkheden mogelijk, zoals samenvatting van multi-document en redeneren over grote codebases. Beide modellen waren vooraf opgeleid op een enorme dataset van meer dan 30 biljoen tokens, meer dan het dubbele van die van LLAMA 3, en omvatten meer dan 200 talen, met meer dan 100 talen met elk meer dan 1 miljard tokens.
Integratie in meta -apps en beschikbaarheid van ontwikkelaars
LLAMA 4 Scout en LLAMA 4 Maverick zijn weerspiegeling van Meta’s toewijding om innovatie te openen en zijn vandaag beschikbaar om te downloaden op LLAMA.com en Hugging Face. Meta kondigde ook aan dat deze modellen nu meta AI voeden binnen populaire applicaties zoals WhatsApp, Messenger, Instagram Direct en op de meta.ai -website. Met deze integratie kunnen gebruikers direct de mogelijkheden van de nieuwe LLAMA 4 -modellen ervaren.
Meta benadrukte zijn toewijding om nuttige en veilige AI -modellen te ontwikkelen. LLAMA 4 neemt best practices op die zijn beschreven in hun AI Protections Developer Use Guide, inclusief mitigaties in verschillende stadia van ontwikkeling. Ze benadrukten ook open-sourced waarborgen zoals Lama Guard en snel bewaker om ontwikkelaars te helpen schadelijke inputs en outputs te identificeren en te voorkomen.
Met het aanpakken van het bekende nummer van bias in LLMS, verklaarde Meta dat er aanzienlijke verbeteringen zijn aangebracht in LLAMA 4. Het model weigert minder aanwijzingen over gedebatteerde politieke en sociale onderwerpen en vertoont een meer evenwichtige reactie over verschillende gezichtspunten, die prestaties tonen die vergelijkbaar zijn met GROK op dit gebied.
