De opkomst van ingebed Ml Transformeert hoe apparaten omgaan met de wereld en verlegt de grenzen van wat mogelijk is met beperkte middelen. Deze toepassingen, van slimme wearables tot industriële sensoren, vereisen een delicaat evenwicht tussen prestaties, stroomverbruik en privacy.
Vladislav Agafonov, een machine learning -expert bij Meta Reality Labs UK (voorheen Oculus VR), begrijpt deze uitdagingen intiem.
“Embedded Machine Learning is zowel fascinerend als uitdagend omdat we diepe leermodellen uitvoeren op apparaten met zeer beperkte geheugen- en processorkracht,” zei Agafonov.
Een van de meest persistente uitdagingen, volgens Agafonov, is het optimaliseren van modellen voor apparaten met beperkt computerkracht en geheugen.
“De meest aanhoudende uitdaging is het evenwicht tussen de nauwkeurigheid van het model met beperkt on-chip geheugen en beperkte verwerkingskracht,” zei Agafonov.
Om dit aan te pakken, zijn technieken zoals kwantisatie en snoeien cruciaal. Kwantisatie vermindert het aantal bits dat wordt gebruikt om modelgewichten op te slaan, vaak van 32 bits tot 8 of minder, het gebruik van geheugengebruik aanzienlijk. Snoeien daarentegen verwijdert onnodige verbindingen in het netwerk, krimpt de grootte van het model en het versnellen van de gevolgtrekking.
“Ik let ook op Operation Fusion, wat betekent dat meerdere stappen in de berekening worden samengevoegd om te voorkomen dat grote tussenliggende resultaten in het geheugen worden opgeslagen,” zei Agafonov. “Evenzo kan het gebruik van directe geheugentoegang (DMA) de sensorgegevens rechtstreeks in de berekeningsmotor laten stromen zonder extra kopieën, waardoor de latentie wordt verkleind.”
Door elke stap nauwgezet te profileren, cycli, geheugenvoetafdruk en stroomverbruik te meten, kunnen ingenieurs optimaliseren waar het er het meest toe doet, geavanceerde modellen in slechts een paar honderd kilobytes geheugen passen.
Hardware -versnelling en software -optimalisatie
Hardware -versnelling is een ander kritisch onderdeel van ingebed ML. Gespecialiseerde chips zoals neurale verwerkingseenheden (NPU’s) en Tensor Processing Units (TPU’s) omgaan met parallelle verwerking, waardoor het neurale netwerkinferentie drastisch wordt versneld, terwijl het stroomgebruik wordt geminimaliseerd.
“Hardware -versnelling is absoluut de sleutel tot het uitvoeren van geavanceerde ML -modellen op ingebedde apparaten,” zei Agafonov. “Maar naarmate deze chips evolueren, blijft software -optimalisatie net zo belangrijk.”
Frameworks zoals Executorch zijn gericht om het ontwikkelingsproces te vereenvoudigen door details op laag niveau af te handelen, zoals het toewijzen van workloads aan verschillende versnellers en het efficiënt beheren van geheugen.
“In plaats van uren te besteden aan het proberen om elk deel van uw code voor elke nieuwe chip met de hand te optimaliseren, kunt u op het kader vertrouwen om het zware werk te doen,” zei Agafonov.
Dit stelt ontwikkelaars in staat om zich te concentreren op de machine learning -modellen zelf, in plaats van op de ingewikkeldheden van hardware -optimalisatie.
Privacy en federeer leren
Privacy is een groeiende zorg en Embedded ML biedt het voordeel van lokale gegevensverwerking.
“Een van de grote redenen dat ingebed ML zo waardevol is, is dat gegevens direct op het apparaat kunnen worden verwerkt, wat de noodzaak om gevoelige informatie via een netwerk te verzenden, vermindert of zelfs elimineert,” zei Agafonov.
Federated Learning neemt dit concept verder, waardoor apparaten lokaal kunnen trainen en alleen geaggregeerde updates delen met een centrale server.
“In plaats van ieders gegevens in een centrale database te verzamelen, traint elk apparaat het model onafhankelijk met behulp van zijn eigen lokale informatie,” zei Agafonov. “Dan stuurt het alleen een ‘update’ terug of een samenvatting van wat het heeft geleerd – niet de onbewerkte gegevens zelf.”
Deze aanpak verbetert de privacy door de overdracht van onbewerkte gebruikersgegevens te voorkomen, met name belangrijk in gevoelige toepassingen zoals gezondheid en persoonlijke wearables.
De opkomst van tinyml
Tinyml, de toepassing van machine learning op extreem beperkte apparaten zoals microcontrollers, wint aan kracht.
“Denk aan een kleine chip met slechts een paar honderd kilobytes geheugen die nog steeds taken moeten afhandelen zoals classificatie of detectie zonder een batterij in het proces te laten aftappen,” zei Agafonov.
Toepassingen zoals milieumonitoring en industrieel voorspellend onderhoud zijn uitstekende voorbeelden.
“Kleine, op batterijen aangedreven sensoren kunnen specifieke diergeluiden of veranderingen in de luchtkwaliteit detecteren en vervolgens zinvolle waarschuwingen verzenden zonder het vermogen te verspillen aan constante gegevensstreaming,” zei Agafonov. “In de industrie kunnen microcontrollers vroege tekenen van machinefout detecteren door trillingen of temperatuurpieken te bewaken, waardoor dure afbraak wordt voorkomen.”
De groei van Tinyml wordt aangedreven door vooruitgang in hardware en software. Microcontrollers bevatten nu gespecialiseerde verwerkingsblokken en lichtgewicht ML -frameworks vereenvoudigen modeloptimalisatie en implementatie.
Meeslepende ervaringen en toekomstige trends
Bij Meta Reality Labs wordt ingebed ML gebruikt om meeslepende ervaringen te verbeteren.
“We maken gebruik van ingebed ML om meeslepende ervaringen natuurlijker en responsiever te maken – denk aan snelle gebaarherkenning op een polsband waarmee je AR- of VR -interfaces kunt beheersen zonder omvangrijke controllers,” zei Agafonov.
Technische problemen blijven echter bestaan. “Een belangrijke hindernis is het balanceren van het stroomverbruik met de noodzaak van bijna-instructieve gevolgtrekking,” zei Agafonov. “Een andere is ervoor te zorgen dat de modellen onder alle omstandigheden nauwkeurig blijven.”
Vooruitkijkend ziet Agafonov verschillende belangrijke trends die de toekomst van ingebed ML vormgeven. De groeiende acceptatie van Tinyml- en ML-compatibele microcontrollers, de uitbreiding van hardware-versnelling met gespecialiseerde ML-chips en het toenemende gebruik van federaal leren voor privacybehoudende gegevensverwerking zijn allemaal klaar om innovatie op dit gebied te stimuleren.
Terwijl ingebed ML blijft evolueren, zal de mogelijkheid om macht, privacy en prestaties in evenwicht te brengen cruciaal zijn bij het ontsluiten ervan het volledige potentieel.
