Juli 2021 kondigde Twitter aan tijdens Defcon – een hackersevent – een wedstrijd te organiseren waar bezoekers op zoek moesten gaan naar vooroordelen. Het ging hier om vooroordelen (bias) in de algoritmes die Twitter gebruikt, zoals het bewust bijsnijden van foto’s in de tijdlijn. Vijf winnaars gingen er met prijzen vandoor, zoa meldt Tweakers.net. Het was al langer bekend dat de croptool van Twitter bevooroordeeld kan zijn. Dat bevestigde Twitter mei 2020 na intern onderzoek:

In October 2020, we heard feedback from people on Twitter that our image cropping algorithm didn’t serve all people equitably. As part of our commitment to address this issue, we also shared that we’d analyze our model again for bias. Over the last several months, our teams have accelerated improvements for how we assess algorithms for potential bias and improve our understanding of whether ML is always the best solution to the problem at hand. Today, we’re sharing the outcomes of our bias assessment and a link for those interested in reading and reproducing our analysis in more technical detail.

Winnaars

Zo ontdekte tijdens de wedstrijd een student van een Zwitserse hogeschool dat schoonheidsfilters het interne scoresysteem van het croppingalgoritme in de war kan brengen. Kulynych gebruikte StyleGAN2 om niet-bestaande gezichten te produceren en deze steeds een beetje jonger, lichter en warmer van kleur te maken. Hij toont daarmee aan dat het algoritme duidelijk een voorkeur heeft voor slanke, jonge en lichtgekleurde gezichten en gezichten met overduidelijk vrouwelijke trekjes.

Anderen ontdekte tevens een vooroordeel richting mensen met wit of grijs haar, wat zou duiden op leeftijdsdiscriminatie en dat het croppingalgoritme de voorkeur geeft aan Engelse tekst ten opzichte van Arabisch schrift.

Naast de top drie erkent Twitter ook het onderzoek dat laat zien dat het algoritme een voorkeur heeft voor lichtgekleurde emoji in foto’s en onderzoek van een anonieme deelnemer die het algoritme in de war kon brengen door een micropixel aan afbeeldingen toe te voegen.

The Twitter app for Android allows users to edit images before being tweeted, allowing users to apply filters, add an alternative description or simply add stickers. When a user wants to add a sticker, the application asks the user to choose from a fixed set of images developed by Twitter itself named “Twemoji” 1.