Character.AI heeft nieuwe veiligheidsvoorzieningen voor zijn platform aangekondigd na rechtszaken waarin werd beweerd dat de bots van het bedrijf hebben bijgedragen aan zelfbeschadiging en blootstelling aan ongepaste inhoud onder minderjarigen. Deze update komt slechts enkele dagen nadat ouderlijke zorgen aanleiding gaven tot juridische stappen tegen de makers, die sindsdien zijn overgestapt naar functies bij Google.
Character.AI introduceert veiligheidsvoorzieningen te midden van rechtszaken over de risico’s van minderjarigen
In de rechtszaken wordt beweerd dat Character.AI “een duidelijk en aanwezig gevaar vormt voor de volksgezondheid en veiligheid”, met als doel het platform offline te halen of de ontwikkelaars verantwoordelijk te houden. Ouders beweren dat er op het platform gevaarlijke interacties hebben plaatsgevonden, waaronder instructies voor zelfbeschadiging en blootstelling aan hyperseksuele inhoud. Een moeder heeft met name een rechtszaak aangespannen waarin zij stelt dat het bedrijf verantwoordelijk is voor de dood van haar zoon, waarbij zij beweert op de hoogte te zijn van mogelijke schade aan minderjarigen.
De bots van Character.AI maken gebruik van een eigen groottaalmodel dat is ontworpen om boeiende fictieve personages te creëren. Het bedrijf heeft onlangs een model ontwikkeld speciaal voor gebruikers onder de 18 jaar. Dit nieuwe model heeft tot doel gevoelige of suggestieve reacties in gesprekken te minimaliseren, met name als het gaat om gewelddadige of seksuele inhoud. Ze hebben ook beloofd pop-upmeldingen weer te geven die gebruikers naar de National Suicide Prevention Lifeline leiden in gevallen waarin sprake is van zelfbeschadiging.
Karakter-AI in juridische problemen na het verwoestende verlies van 14-jarige
Interim-CEO Dominic Perella verklaarde dat Character.AI een unieke ruimte in consumentenentertainment navigeert in plaats van alleen maar op nutsvoorzieningen gebaseerde AI-diensten aan te bieden. Hij benadrukte de noodzaak om het platform zowel aantrekkelijk als veilig te maken. Het modereren van sociale media-inhoud brengt echter voortdurende uitdagingen met zich mee, vooral bij gebruikersinteracties die de grens tussen speelse betrokkenheid en gevaarlijke gesprekken kunnen vervagen.
Jerry Ruoti, hoofd vertrouwen en veiligheid van Character.AI, gaf aan dat er nieuw ouderlijk toezicht in ontwikkeling is, hoewel ouders momenteel geen inzicht hebben in het gebruik van de app door hun kinderen. Ouders die bij de rechtszaken betrokken waren, meldden dat ze niet wisten dat hun kinderen het platform gebruikten.
Als reactie op deze zorgen werkt Character.AI samen met veiligheidsexperts voor tieners om zijn service te verbeteren. Het bedrijf zal de meldingen verbeteren om gebruikers te herinneren aan de tijd die ze op het platform hebben doorgebracht, waarbij toekomstige updates mogelijk de acties beperken om deze herinneringen te negeren.
Bovendien zal het nieuwe model botreacties beperken die verwijzen naar zelfbeschadiging of zelfmoordgedachten, met als doel een veiliger chatomgeving voor jongere gebruikers te creëren. De maatregelen van Character.AI omvatten input/output-classifiers die specifiek gericht zijn op potentieel schadelijke inhoud en het beperken van gebruikerswijzigingen van botreacties. Deze classificaties filteren invoerovertredingen uit, waardoor schadelijke gesprekken worden voorkomen.
Te midden van deze verbeteringen erkent Character.AI de inherente complexiteit bij het modereren van een platform dat is ontworpen voor fictieve gesprekken. Omdat gebruikers vrijelijk met elkaar kunnen communiceren, blijft het een uitdaging om onderscheid te maken tussen onschuldige verhalen en potentieel verontrustende dialogen. Ondanks zijn standpunt als entertainmententiteit blijft het initiatief van het bedrijf om zijn AI-modellen te verfijnen om schadelijke inhoud te identificeren en te beperken van cruciaal belang.
De inspanningen van Character.AI weerspiegelen bredere trends in de sector, zoals te zien op andere sociale-mediaplatforms, die onlangs functies voor schermtijdcontrole hebben geïmplementeerd vanwege de toenemende zorgen over de betrokkenheid van gebruikers. Uit recente gegevens blijkt dat de gemiddelde Character.AI-gebruiker dagelijks ongeveer 98 minuten op de app doorbrengt, vergelijkbaar met platforms als TikTok en YouTube.
Het bedrijf introduceert ook disclaimers om duidelijk te maken dat de karakters niet echt zijn, en weerlegt daarmee de beschuldigingen dat ze zichzelf verkeerd voorstellen als erkende professionals. Deze disclaimers helpen gebruikers de aard van de gesprekken te begrijpen waarmee ze bezig zijn.
Uitgelichte afbeeldingscredits: C.ai
