Intolerant intelligens

Lyssna på artikeln:

” Google Photos, ni är fucked up. Min vän är ingen gorilla.”

Det skrev webbutvecklaren Jacky Alciné på sitt Twitter-konto 2015 efter att ha upptäckt att appen taggat hans svarta vänner som gorillor på ett foto som låg på plattformen.

Tweeten fick enorm spridning och snart hade Google Photos felaktiga tagg skapat både misstro och ilska i den globala techvärlden. Google bad om ursäkt för misstaget och valde dessutom att radera sökordet ”gorilla” från sitt system – något som också kom att ifrågasättas. 

Sex år senare fortsätter Google att vara världsledande på Artificiell intelligens. Artificiell intelligens – förkortat AI – är en samlingsterm för datasystem som kan känna av sin omgivning, tänka, lära sig och vidta åtgärder. Idén med AI är att skapa nya möjligheter och förenkla livet genom att datorer anpassar sig till en mänsklig miljö. Samtidigt som den artificiella intelligensen bär på enorm potential, återstår mycket att lösa i systemen. 

New York-baserade Tricia Wang är en global teknologisk etnograf som studerar samspelet mellan teknologi och olika kultur- och samhällstyper. På techkonferenser världen över, däribland på The Conference i Malmö och Webbdagarna i Stockholm, brukar Wang ta upp Jacky Alcinés tweet för att peka på problemet och hur det upprepar sig.

Wang menar att de största misstagen företag gör när det kommer till innovation är att konstant anamma ny teknologi utan att stanna upp och faktiskt tänka på människan, användaren. 

Under pandemin har Wang, som driver konsultföretaget Sudden Compass tillsammans med sina kollegor, jobbat mer än vanligt med att hjälpa företag att bygga AI-drivna produkter på ett människocentrerat sätt. Med kunder som Microsoft och Spotify, hjälper hon företag att förstå att för att blomstra i den digitala eran krävs det att de investerar i människor och i kvalitativ data.

En kritik som ofta riktas mot utvecklingen av AI är att systemen designas av en mycket liten, homogen grupp – vita män i Silicon Valley. Detta blir ett problem när de för över sina egna stereotypa föreställningar till datorer eftersom de då riskerar att skapa ännu mer rasism, sexism och ojämlikhet i de självlärande systemen. Således byggs AI-system baserat på samma fördomar som människorna som kodar dem har.

Det är någonting som ghanan-amerikanska AI-forskaren Joy Adowaa Buolamwini kan vittna om. I ett av sina konstprojekt på ansedda Michigan Institute of Technology använde hon sig av en ansiktsanalysteknologi som visade sig ha svårt att upptäcka hennes ansikte. Först när Buolamwini satte på sig en vit mask kunde mjukvaran scanna hennes ansikte.

Dataingenjören tillika aktivisten Buolamwini förundrades över hur hennes ansikte inte scannades i ansiktsigenkänningsprogrammet medan en vit mask i plast – inte helt olik hockeymasken som Jason bär i skräckfilmen Fredag den 13:e – kunde läsas av. Svaret var enkelt.

Joy Adowaa Buolamwini är svart. Och kvinna.

Den bekymmersamma upptäckten fick Buolamwini att undersöka hur och varför algoritmerna som använts i ansiktsigenkänningsprogrammet svarade på det sätt som det gjorde. Hon la märke till att merparten av datan som använts för att förfina algoritmen utgick från vita, manliga ansikten. Detta resulterade i att algoritmen kunde scanna av män med ljusa hudtoner med störst noggrannhet, följt av att kvinnor med ljusa hudtoner. Svårast hade programmet för kvinnor med mörkare hudtoner.

Buolamwini pekar på att problemet ligger i det hon kallar the coded gaze – den kodade blicken – vilket är en vit, partisk blick som de flesta stora techföretag utgår från när de skriver sina algoritmer. Den kodade blicken speglar den som skapade systemen.

Buolamwini förklarar att det bakom maskinerna, koderna och algoritmerna sitter människor. Majoriteten är vita manliga ingenjörer som utgår från sina erfarenheter, begränsningar, fördomar och världssyn när de matar in sina utvalda bilder i AI-systemen. Ingenjörerna bygger, med andra ord, en världsmodell av algoritmer baserad på sin bild av verkligheten. Den kodade blicken sprider och cementerar eventuella fördomar i systemen. 

Artificiell intelligens

• Artificiell intelligens är en samlingsterm för datasystem som kan känna av sin omgivning, tänka, lära sig och vidta åtgärder. Systemet underlättar vardagen och många av oss använder AI dagligen i sökmotorer, översättningstjänster, karttjänster och digitala röstassistenter. Teknikerna bakom ansiktsigenkänning, självkörande bilar och autonoma vapensystem utvecklas också med hjälp av AI.
• Algoritmer är en uppsättning av regler som används för att hantera stora mängder information eller data. Algoritmer är programmerade att bestämma hur data ska hanteras och vad de ska leda till. 
• Dålig data = dålig AI
  AI lär sig av datan den hanterar och tränas AI:n på felaktig information kan det leda till att systemet blir partiskt eller icke-neutralt (eng biased) vilket innebär systematisk snedvridning i bedömningsprocesser som regelmässigt missgynnar vissa grupper. Om vi exempelvis lär AI att identifiera skor genom att visa bilder på endast gympaskor, så lär sig inte systemet att identifiera högklackade skor, tofflor eller kängor som skor.
• Ingen AI är en ö
  Eftersom AI-system endast kan lära sig med hjälp av data kan systemet börja reproducera ojämlikheter som finns i den ursprungliga informationen. Även om vi upplever informationen som korrekt, så kan den vara full av mänskliga värderingar, vilka i sin tur påverkar den artificiella intelligensens beslut.

Det har rapporterats om otaliga fall där AI:n fallerat. Det har kommit in rapporter om allt från kameraprogramvaror som felaktigt läser av bilder av asiatiska människors uppåtformade ögon som blinkande, till tvålautomater som inte kan läsa av och förse icke-vita människors händer med tvål. Det har också rapporterats att självkörande bilar kört in i svarta fotgängare eftersom bilarna är programmerade att främst scanna vit hud.

I Sydkorea tvingades Facebook ta ner den populära AI-chatbotten Lee Luda som var programmerad baserad på tidigare chattkonversationer på plattformen Science of Love. När Lee Luda, som skulle efterlikna en 20-årig kvinnlig universitetsstudent, började vräka ur sig rasistiska och homofoba uttalanden på sociala medier tvingades man ta bort den.

Även inom rekryteringsvärlden har AI-system varit revolutionerande. Rekryteringsbranschen har genom AI effektivt kunnat sålla bort ointressanta ansökningar och på så vis bespara företag tid och pengar. Men i vissa fall har det slagit helt fel.

När mastodontföretaget Amazon använde AI för en rekrytering 2015, lät man meritförteckningar från arbetssökande analyseras. Systemet gick genom 10 000 ansökningar som hade skickats in och bedömts genom åren. Maskinintelligensen, som var inprogrammerad att söka efter mönster och utmärkande kännetecken för vad som tolkades som bra och mindre bra ansökningar, identifierade ett tydligt urval av sökande – det skulle absolut vara män. Systemet noterade helt korrekt att Amazon tidigare främst hade anställt män. Således drog systemet slutsatsen att män var ett utmärkande kännetecken som var att föredra, vilket ledde till att kvinnliga sökande fullständigt sållades bort. 

Amazon slopade systemet, men händelsen var ett tydligt exempel på hur AI – dels på grund av skevt material, dels på grund av inbyggda strukturer – riskerar att exkludera annars kvalificerade kandidater på grund av ras, kön eller andra faktorer.

– AI måste utvecklas och användas med omsorg och tillsyn. Algoritmiska fördomar kan, precis som mänskliga fördomar, resultera i orättvisor. Skillnaden är att algoritmer kan sprida fördomar i stor skala och i snabb takt precis som ett virus, säger AI-forskaren Buolamwini i sitt TED-talk från 2016.

I sitt arbete med att skapa medvetenhet kring riskerna som följer med AI, har Buolamwini som vunnit flera priser och utmärkelser, tagit fram ett antal projekt som rör temat.

Hon har bland annat startat organisationen Algorithmic Justice League – som syftar till att uppmana teknikföretag att se över sina algoritmer så att de inte bidrar till ytterligare diskriminering av minoriteter och underrepresenterade grupper. I sin avhandling ”Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification” från 2018, belyser Buolamwini problematiken och ger tänkbara lösningar på den. Både IBM och Microsoft lyssnade på kritiken och förbättrade sina programvaror. Buolamwini har även gjort filmerna Code4Rights och Algorithmic Justice League: Unmasking Bias.

Ett sätt att minska risken för att AI:ns inflytande på vårt samhälle fortsätter att utvecklas med den vita mannen som norm och den svarta kvinnan som undantag är att öka mångfalden. Utan en förändring är det oundvikligt att maskinerna utvecklas på ett sätt som upprätthåller diskriminering av minoritetsgrupper.

En rapport som tagits fram av forskare vid Institutet för mänskliga rättigheter vid San José State University 2020, visade att tio ledande teknikföretag i Kalifornien inte hade en enda svart kvinna anställd. Tre av bolagen hade inga svarta anställda överhuvudtaget.

Eritreansk-amerikanska Timnit Gebru – en välkänd och ansedd AI-forskare – var en av få kvinnor anställda inom Googles etiska AI-team samt en av mycket få svarta anställda i högre positioner.

Som minoritet mycket medveten om sin homogena omgivning, kom Gebru att specialisera sig på partiska algoritmer (algorithmic bias) och att bli en aktiv förespråkare för mångfald inom teknik. Tillsammans med några kollegor skrev Gebru en forskningsrapport som hävdade att Google borde göra mer för att säkerställa att AI-system inte reproducerar könsdiskriminering eller använder ett stötande språk.

Efter att ha blivit tillsagd att dra tillbaka forskningsrapporten, skickade Gebru ett internt mejl till sina kollegor där hon anklagade Google för att vilja ”tysta marginaliserade röster”. Strax efter det fick hon plötsligt och oväntat sparken. 

Gebru menar att hon avskedades för att hon kritiserat företaget medan Google påstår att Gebru avgick självmant. Gebrus fall ledde till en proteststorm och folk från IT-branschen världen över riktade skarp kritik mot Google. 

I arbetet med detta reportage kontaktades en Google-anställd för att prata om problemet som Gebru beskriver samt om händelsen som ledde till hennes avskedande. Personen på Google valde att svara anonymt i mejl.

”Jag bryr mig väldigt mycket om de här frågorna och kämpar själv med hur jag, som minoritet, ska hantera det i mitt privatliv. Men tyvärr måste jag avböja din förfrågan att prata å Googles vägnar i en intervju”, skriver den Google-anställde.

– Vi alla såg hur det gick för Timnit Gebru, säger tech-etnografen Tricia Wang och fortsätter:

– Ledande techföretag bryr sig inte om den skada deras algoritmer potentiellt kan föra med sig.

– De får det att verka som att de bryr sig genom att ta in experter som påstås ska se över de etiska aspekterna av AI eller genom att anställa icke-vita människor. Men när dessa människor väl är inne så gör man allt för att få ut dem. 

För att se någon förändring i hur algoritmer skrivs, och hur de sedan syns i form av AI, är det viktigt att samhället som kollektiv utvecklar tydliga ramar till hur personuppgifter faktiskt används, menar Wang. 

Efter incidenten på Google har Timnit Gebru tröttnat på institutionerna och på att lägga ned energi på att kämpa för enkla saker som företagen ändå inte visar någon faktisk vilja att förändra. Hon fokuserar i dag istället på nätverket Black in AI som hon var med och grundade. Nätverket jobbar för att öka närvaron av svarta människor inom AI.

Det verkar som att uppmaningen till förändring genom inkludering inte sällan tycks komma från individer som, likt Tricia Wang, Timnit Gebru eller Joy Adowaa Buolamwini själva faktiskt missgynnas av den rasism och sexism som AI kan föra med sig. 

Det återstår att se hur framtiden för AI ser ut – om den kommer att fortsätta att cementera rasism, sexism och annan diskriminering eller om den istället kommer att ytterligare revolutionera och underlätta vardagen. Även för minoriteter.