Meta heeft de productieversie aangekondigd van Llama 3.2, een unieke verzameling gratis en open-source modellen voor kunstmatige intelligentie die de toekomst van machine-intelligentie met flexibiliteit en efficiëntie vormgeven.
Omdat bedrijven op zoek zijn naar apocalyptische AI-oplossingen die op de meest gangbare hardware kunnen werken of op hardware die populair is bij de ontwikkeling van oplossingen voor zowel grote bedrijven als zelfstandigen, biedt Llama 3.2 nieuwe modellen.
Llama 3.2 richt zich op edge- en mobiele apparaten
Bij Meta is de nadruk op de rand en mobiliteit duidelijk zichtbaar.
Wat de nieuwe functies van deze versie betreft, hebben de ontwikkelaars LLM voor kleine en middelgrote visie toegevoegd: 11B en 90B, en daarmee ook pure tekstuele alternatieven geïntroduceerd: 1B en 3B.
Met name de nieuwe modellen die hier worden geïntroduceerd, zijn afgestemd op de werking van edge-apparaten, waardoor de AI-technologie beschikbaar wordt voor meer clients. De lichtgewicht tekst-alleen modellen, met name die zonder visuele gegevens, zijn ontworpen voor eenvoudigere taken zoals samenvatting en het volgen van instructies vanwege de lage rekenkracht.
Door de centrale gegevensverwerking op mobiele apparaten, met lokale uitvoering, worden geen gegevens naar de cloud geüpload, zoals Meta stelt,
“Door lokaal op mobiele apparaten te draaien, wordt ervoor gezorgd dat de gegevens op het apparaat blijven, waardoor de privacy van de gebruiker wordt verbeterd door cloudgebaseerde verwerking te vermijden,”
Deze mogelijkheid is vooral handig voor applicaties die gevoelige data verwerken, omdat het de applicatie in staat stelt om belangrijke taken uit te voeren terwijl de vertrouwelijkheid van de data behouden blijft. Gebruikers kunnen bijvoorbeeld persoonlijke berichten beantwoorden terwijl ze deze samenvatten, of takenlijsten ophalen van vergaderingen zonder berichten door te sturen naar externe servers.
Vooruitgang in modelarchitectuur
De belangrijkste verandering in Llama 3.2 zijn verschillende architecturale verbeteringen. De nieuwe modellen gebruiken een adaptergebaseerde architectuur die image encoders kan combineren met vooraf getrainde tekstmodellen zonder aanpassing. Deze integratie leidt tot verbeteringen in het vermogen om te redeneren in zowel tekst- als afbeeldingsgebieden en breidt het scala aan toepassingen voor deze modellen aanzienlijk uit.
De resulterende, vooraf getrainde modellen ondergingen strenge fine-tuningoefeningen, waarbij gebruik werd gemaakt van enorme hoeveelheden ruis in de vorm van beeld-tekstparen.
Llama 3.2 11B & 90B bevatten ondersteuning voor een reeks multimodale visietaken. Deze mogelijkheden maken scenario’s mogelijk zoals het ondertitelen van afbeeldingen voor toegankelijkheid, het bieden van natuurlijke taalinzichten op basis van datavisualisaties en meer. foto.twitter.com/8kwTopytaf
— AI bij Meta (@AIatMeta) 25 september 2024
Er is één belangrijke toevoeging aan de lengte van de tokencontext, en deze is toegenomen tot een zeer indrukwekkende 128K voor de lichtgewicht 1B- en 3B-modellen. Het vergemakkelijkt bredere datareizen, wat met name waardevol is voor lange documenten en uitgebreid denken.
Deze mogelijkheid om zulke grote invoerformaten te verwerken, geeft Llama 3.2 een voorsprong op concurrenten in de dynamische AI-markt die wordt gedomineerd door GPT-modellen van OpenAI.
Hoe zit het met de prestatie-indicatoren?
De modellen van Llama 3.2 hebben uitzonderlijke prestatie-indicatoren laten zien, wat hun concurrentievoordeel op de markt verder verstevigt. Het 1B-model behaalde een score van 49,3 op de MMLU-benchmark, terwijl het 3B-model een score van 63,4 behaalde. Op het gebied van visie lieten de 11B- en 90B-modellen hun capaciteiten zien met scores van respectievelijk 50,7 en 60,3 in taken voor visueel redeneren.
Uit de resultaten van uitgebreide menselijke evaluaties en benchmarks blijkt dat Llama 3.2-visiemodellen kunnen concurreren met toonaangevende gesloten modellen op het gebied van beeldherkenning en een scala aan visuele begripstaken. foto.twitter.com/QtOzExBcrd
— AI bij Meta (@AIatMeta) 25 september 2024
Deze statistieken geven aan dat de Llama 3.2-modellen niet alleen voldoen aan de prestaties van vergelijkbare aanbiedingen van andere bedrijven, maar deze vaak zelfs overtreffen, zoals Claude 3 Haiku En GPT4o-mini.
De integratie van UnslothAI-technologie draagt ook bij aan de efficiëntie van deze modellen, waardoor twee keer zo snelle fine-tuning en inferentiesnelheden mogelijk zijn, terwijl het VRAM-gebruik met 70% wordt verminderd. Deze verbetering is cruciaal voor ontwikkelaars die realtime AI-oplossingen willen implementeren zonder hardwarebeperkingen.
Samenwerking en ondersteuning van ecosystemen
Een van de belangrijkste factoren die de gereedheid van Llama 3.2 om op de markt te worden gebracht, definieert, is het goed ontwikkelde ecosysteem. Partnerschappen met andere leiders in de mobiele industrie, zoals Qualcomm, MediaTek en AWS, maken het voor ontwikkelaars mogelijk om deze modellen te implementeren in verschillende settings, cloudomgevingen en lokale apparaten.
De Lama Stapel Distributies zoals Llama Stack voor installaties op het apparaat en Llama Stack voor installaties op één knooppunt bieden oplossingen waar ontwikkelaars gebruik van kunnen maken en deze modellen zonder extra complicaties in hun projecten kunnen inbouwen.
De lichtgewicht Llama 3.2-modellen die vandaag worden verzonden, bieden ondersteuning voor @Arm, @MediaTek & @Qualcomm om de ontwikkelaarscommunity vanaf dag één te laten beginnen met het bouwen van impactvolle mobiele applicaties. foto.twitter.com/DhhNcUviW7
— AI bij Meta (@AIatMeta) 25 september 2024
Hoe gebruik ik Meta Llama 3.2?
De nieuwste versie van het open-source AI-model, Llama 3.2, is nu beschikbaar op de Meta Llama-websitemet verbeterde mogelijkheden voor aanpassing, afstemming en implementatie op verschillende platforms.
Ontwikkelaars kunnen kiezen uit vier modelgroottes: 1B, 3B, 11B en 90B, of ze kunnen de eerdere versies blijven gebruiken. Lama 3.1.
Meta brengt deze modellen niet zomaar uit in het wild; ze willen er graag voor zorgen dat ontwikkelaars alles hebben wat ze nodig hebben om Llama 3.2 effectief te benutten. Deze toewijding omvat het delen van waardevolle tools en bronnen om ontwikkelaars te helpen verantwoord te bouwen. Door hun best practices voortdurend te updaten en contact te leggen met de open-sourcecommunity, hoopt Meta innovatie te inspireren en tegelijkertijd ethische AI gebruik.
“We zijn enthousiast om de gesprekken die we hebben met onze partners en de open-sourcecommunity voort te zetten, en zoals altijd kunnen we niet wachten om te zien wat de community bouwt met Llama 3.2 en Llama Stack,”
Meta verklaarde.
Deze collaboratieve aanpak verbetert niet alleen de mogelijkheden van Llama 3.2, maar stimuleert ook een levendig ecosysteem. Of het nu gaat om lichtgewicht edge-oplossingen of complexere multimodale taken, Meta hoopt dat de nieuwe modellen de flexibiliteit bieden die nodig is om aan uiteenlopende gebruikerseisen te voldoen.
Beeldcredits: Meta
