Character AI wordt geconfronteerd met juridische stappen na de tragische dood van de 14-jarige Sewell Setzer III, die zelfmoord pleegde nadat hij het platform had gebruikt.
Zijn moeder, Megan Garcia, heeft een aanvraag ingediend rechtszaak tegen het bedrijf, de oprichters Noam Shazeer en Daniel De Freitas, en Google. De rechtszaak claimt nalatigheid, onrechtmatige dood en productaansprakelijkheid, waarbij wordt beweerd dat het platform niet over de nodige veiligheidsmaatregelen beschikte om kwetsbare gebruikers zoals haar zoon te beschermen.
Een tragisch incident
Setzer gebruikte al enkele maanden Character AI en communiceerde met bots die waren gemodelleerd naar fictieve personages, waaronder Daenerys Targaryen van Spel der Tronen. Op 28 februari 2024, vlak na zijn laatste interactie met het platform, maakte Setzer op tragische wijze een einde aan zijn leven. De rechtszaak roept ernstige zorgen op over de veiligheidsmaatregelen van het platform – of het gebrek daaraan – voor minderjarigen en kwetsbare gebruikers.
Character AI staat onder de loep vanwege zijn antropomorfe bots die zowel fictieve personages als echte personages nabootsen. Hoewel deze personalisatie voor veel gebruikers aantrekkelijk is, vervaagt de grens tussen fantasie en werkelijkheid, vooral voor tieners die de implicaties van deze interacties misschien niet volledig begrijpen.
Als reactie op dit incident heeft Character AI updates doorgevoerdinclusief filters en waarschuwingen om gebruikers te waarschuwen voor gevoelige inhoud. Veel critici beweren echter dat deze maatregelen onvoldoende zijn. Het bedrijf heeft in het verleden met soortgelijke controverses te maken gehad, zoals de ongeoorloofde creatie van een chatbot gebaseerd op Jennifer Ann Crecente. Haar familie werd gedwongen juridische stappen te ondernemen om haar beeltenis van het podium te laten verwijderen.
De rechtszaak suggereert dat Character AI bij de ontwikkeling prioriteit gaf aan snelheid boven veiligheid. Volgens de klacht uitte oprichter Noam Shazeer zijn frustraties over vertragingen bij Google vanwege zorgen over ‘merkrisico’ tijdens de ontwikkeling van het Meena LLM-model. Dit, zo beweert de rechtszaak, wijst op een patroon waarbij de ontwikkeling van AI vóór de veiligheid van de gebruiker gaat.
Dit is niet de eerste keer dat Character AI met terugslag te maken krijgt. In een eerdere zaakwerd zonder toestemming een chatbot gemaakt op basis van Jennifer Ann Crecente, een jonge vrouw die 18 jaar eerder was overleden. Haar familie moest juridische stappen ondernemen om haar beeltenis van het platform te verwijderen, wat de aanhoudende zorgen over toestemming en privacy bij AI benadrukte.
Naarmate de AI-technologie zich verder ontwikkelt, valt de verantwoordelijkheid om gebruikers te beschermen – vooral kwetsbare gebruikers zoals tieners – volledig op de schouders van ontwikkelaars. Garcia’s rechtszaak suggereert dat Character AI zich haastte om zijn product uit te brengen, waardoor de gebruikersveiligheid mogelijk werd opgeofferd ten gunste van een snellere ontwikkeling.
Deze hartverscheurende casus herinnert ons eraan dat AI weliswaar innovatieve tools en ervaringen kan bieden, maar dat het met zorg moet worden gebouwd en ingezet.
Afbeeldingscredits: Kerem Gülen/Midjourney
