MIT-onderzoekers ontwikkelden een nieuw spraak-naar-realiteitssysteem dat 3D generatieve AI combineert met robotassemblage om objecten op aanvraag te fabriceren. Het systeem creëerde items zoals meubels in slechts vijf minuten. Deze AI-gestuurde workflow stelt gebruikers in staat gesproken input te geven aan een robotarm, waardoor ze in feite ‘objecten tot bestaan spreken’. De technologie maakt gebruik van natuurlijke taalverwerking, 3D generatieve AI en robotassemblage om het productieproces te stroomlijnen. Alexander Htet Kyaw, een afgestudeerde MIT-student en een Morningside Academy for Design (MAD) fellow, verklaarde: “We verbinden natuurlijke taalverwerking, 3D generatieve AI en robotassemblage.” Hij voegde eraan toe dat deze snel voortschrijdende onderzoeksgebieden niet eerder zijn gecombineerd om fysieke objecten te creëren op basis van een eenvoudige spraakopdracht. Het systeem ontvangt gesproken opdrachten, zoals ‘Ik wil een eenvoudige kruk’, en bouwt vervolgens objecten op uit modulaire componenten. Tot nu toe hebben de onderzoekers het systeem gebruikt om krukjes, planken, stoelen, een tafeltje en decoratieve vormen te bouwen, waaronder een hondenstandbeeld. Het spraak-naar-realiteitssysteem verwerkt gebruikersverzoeken in verschillende fasen:
- Spraakherkenning: Een groot taalmodel verwerkt de gesproken invoer van de gebruiker.
- 3D generatieve AI: Het systeem creëert een digitale mesh-weergave van het gewenste object.
- Voxelisatie-algoritme: Het 3D-mesh wordt opgesplitst in specifieke montagecomponenten.
- Geometrische verwerking: De door AI gegenereerde assemblage wordt aangepast om rekening te houden met fabricagebeperkingen in de echte wereld, zoals het aantal componenten, overhangen en geometrische connectiviteit.
- Montagevolgorde en padplanning: Het systeem creëert een haalbare montagevolgorde en geautomatiseerde padplanning voor de robotarm.
In tegenstelling tot 3D-printen, dat vaak uren of dagen duurt, voltooit dit systeem de constructie van objecten binnen enkele minuten. Het maakt ontwerp en productie ook toegankelijker voor individuen zonder expertise in 3D-modellering of robotprogrammering. Kyaw ontwikkelde het eerste systeem terwijl hij de cursus van professor Neil Gershenfeld volgde: ‘Hoe je bijna alles kunt maken’. Hij zette het project voort bij het MIT Center for Bits and Atoms (CBA), waar hij samenwerkte met afgestudeerde studenten Se Hwan Jeon van de afdeling Werktuigbouwkunde en Miana Smith van CBA. Het team is van plan het draagvermogen van meubels te verbeteren door robuustere verbindingen tussen modulaire kubussen te implementeren, die verder gaan dan de huidige magnetische verbindingen. Smith merkte op: “We hebben ook pijplijnen ontwikkeld voor het omzetten van voxelstructuren in haalbare assemblagesequenties voor kleine, gedistribueerde mobiele robots, wat zou kunnen helpen dit werk te vertalen naar structuren op elke schaalgrootte.” Het gebruik van modulaire componenten heeft tot doel het productieafval te verminderen door demontage en hermontage tot nieuwe objecten mogelijk te maken. Kyaw werkt ook aan de integratie van gebarenherkenning en augmented reality in het systeem, waarbij zowel spraak- als gebarencontrole worden gecombineerd voor verbeterde interactie. Het team presenteerde hun paper, “Speech to Reality: On-Demand Production Using Natural Language, 3D Generative AI, and Discrete Robotic Assembly”, op het Association for Computing Machinery (ACM) Symposium on Computational Fabrication (SCF ’25) bij MIT op 21 november. https://www.youtube.com/watch?v=GJQD86H9Nok
