Sony AI heeft de Fair Human-Centric Image Benchmark (FHIBE) uitgebracht, de eerste openbaar beschikbare, wereldwijd diverse, op toestemming gebaseerde dataset van menselijke beelden, ontworpen om vooroordelen bij computervisietaken te evalueren. Deze tool beoordeelt hoe AI-modellen mensen uit verschillende demografische categorieën behandelen, waarbij ethische uitdagingen in de AI-industrie worden aangepakt door middel van het gezamenlijk verzamelen van beelden van diverse deelnemers. De dataset, uitgesproken als ‘Phoebe’, bevat afbeeldingen van bijna 2.000 betaalde deelnemers uit meer dan 80 landen. Elk individu gaf expliciete toestemming voor het delen van hun beeltenis, waardoor FHIBE zich onderscheidde van gangbare praktijken waarbij zonder toestemming grote hoeveelheden webgegevens worden verzameld. Deelnemers behouden het recht om hun afbeeldingen op elk moment te verwijderen, waardoor voortdurende controle over hun persoonlijke gegevens wordt gegarandeerd. Deze aanpak onderstreept de toewijding van Sony AI aan ethische normen bij het verzamelen van gegevens. Elke foto in de dataset is voorzien van gedetailleerde annotaties. Deze hebben betrekking op demografische en fysieke kenmerken, zoals leeftijd, geslachtsvoornaamwoorden, afkomst en huidskleur. Omgevingsfactoren, waaronder lichtomstandigheden en achtergronden, worden ook vermeld. Camera-instellingen, zoals brandpuntsafstand en belichting, bieden extra context voor modelevaluaties. Dergelijke uitgebreide etikettering maakt nauwkeurige analyse mogelijk van hoe externe variabelen de AI-prestaties beïnvloeden. Testen met FHIBE bevestigden eerder gedocumenteerde vooroordelen in bestaande AI-modellen. De benchmark gaat verder door gedetailleerde diagnoses van bijdragende factoren aan te bieden. Modellen vertoonden bijvoorbeeld een lagere nauwkeurigheid voor individuen die de voornaamwoorden ‘zij/haar/haar’ gebruikten. FHIBE identificeerde een grotere variabiliteit in kapsels als een belangrijk, eerder over het hoofd gezien element achter deze discrepantie, waardoor onderzoekers specifieke gebieden voor verbetering in modeltraining konden aanwijzen. Bij evaluaties van neutrale vragen over het beroep van een onderwerp versterkten AI-modellen stereotypen. De benchmark bracht een scheefheid aan het licht ten opzichte van specifieke groepen van voornaamwoorden en voorouders, waarbij de uitkomsten individuen bestempelden als sekswerkers, drugsdealers of dieven. Dit patroon benadrukt hoe onbevooroordeelde aanwijzingen nog steeds discriminerende resultaten kunnen opleveren op basis van demografische kenmerken. Wanneer gevraagd werd naar mogelijke misdaden gepleegd door individuen, genereerden modellen voor bepaalde groepen in hogere mate toxische reacties. Dit waren onder meer mensen van Afrikaanse of Aziatische afkomst, mensen met een donkere huidskleur en individuen die zich identificeerden als ‘hij/hem/zijn’. Dergelijke bevindingen leggen kwetsbaarheden in AI-systemen bloot die schade kunnen bestendigen door bevooroordeelde resultaten. Sony AI stelt dat FHIBE aantoont dat ethische, diverse en eerlijke gegevensverzameling haalbaar is. De tool is nu openbaar beschikbaar voor onderzoekers en ontwikkelaars om te gebruiken bij het testen van bias. Sony is van plan de dataset in de loop van de tijd bij te werken met nieuwe afbeeldingen en annotaties. Een onderzoekspaper waarin deze bevindingen werden beschreven, verscheen in Natuur op woensdag.
