Dat heeft de Threat Intelligence Group (GTIG) van Google bekendgemaakt geïdentificeerd een aanzienlijke escalatie van het kwaadwillige gebruik van kunstmatige intelligentie. Tegenstanders gebruiken AI niet langer alleen voor productiviteitstaken zoals het opstellen van phishing-e-mails; ze zetten nu nieuwe malware in die actief gebruik maakt van AI tijdens een aanval om het gedrag ervan dynamisch te veranderen. Deze nieuwe fase van AI-misbruik omvat wat Google ‘Just-in-Time’ AI noemt. Voor het eerst heeft GTIG malwarefamilies geïdentificeerd die tijdens de uitvoering gebruikmaken van Large Language Models (LLM’s). Deze tools kunnen op dynamische wijze kwaadaardige scripts genereren of hun eigen code on-the-fly verdoezelen om detectie te omzeilen, in plaats van te vertrouwen op hardgecodeerde functies. Het rapport beschrijft een aantal nieuwe malware gezinnen die deze techniek gebruiken. “PROMPTSTEAL”, dat werd waargenomen tijdens actieve operaties, is een dataminer die een Hugging Face API naar een LLM vraagt om Windows-opdrachten te genereren voor het verzamelen van systeeminformatie. “QUIETVAULT”, ook in het wild te zien, is een inloggegevensdief die AI CLI-tools gebruikt die op de computer van het slachtoffer zijn geïnstalleerd om naar aanvullende geheimen te zoeken. Een andere malware, ‘FRUITSHELL’, bevat hardgecodeerde aanwijzingen die speciaal zijn ontworpen om analyse door LLM-aangedreven beveiligingssystemen te omzeilen. Google heeft ook experimentele malware geïdentificeerd, waaronder ‘PROMPTFLUX’, een dropper die de Google Gemini API gebruikt om herhaaldelijk zijn eigen broncode te herschrijven om verborgen te blijven, en ‘PROMPTLOCK’, een proof-of-concept-ransomware die tijdens runtime dynamisch kwaadaardige scripts genereert. Uit het GTIG-rapport blijkt ook dat bedreigingsactoren ‘social engineering’-technieken aanpassen om AI-veiligheidsrails te omzeilen. Google observeerde acteurs die zich voordeden als studenten in een ‘capture-the-flag’-wedstrijd of als cybersecurity-onderzoekers om Gemini te overtuigen informatie te verstrekken, zoals hulp bij de ontwikkeling van tools, die anders zou worden geblokkeerd. Door de staat gesponsorde actoren, waaronder die uit Noord-Korea, Iran en de Volksrepubliek China (VRC), blijven AI zoals Gemini gebruiken om alle fasen van hun operaties te verbeteren, van verkenning en het creëren van phishing-lokmiddelen tot het ontwikkelen van commando- en controle-infrastructuur (C2). Bovendien merkt Google op dat de ondergrondse marktplaats voor illegale AI-tools in 2025 volwassen is geworden en multifunctionele tools biedt die de toegangsdrempel voor minder geavanceerde aanvallers verlagen. Google verklaarde dat het deze activiteit actief verstoort door projecten en accounts uit te schakelen die aan deze actoren zijn gekoppeld. Het bedrijf benadrukte dat het zijn modellen, waaronder Gemini, voortdurend verbetert om ze minder vatbaar voor misbruik te maken en dat het de informatie toepast om zijn beveiligingsclassificatoren te versterken.
