AI i kampen mot terror

Nya zeeland den 15 mars 2019. Den 28-årige Brenton Tarrant klev in i al Noor-moskén i centrala delarna av staden Christchurch och öppnade eld, mitt under fredagsbönen. Han begav sig efter det till Linwood-moskén, som ligger strax utanför staden, och fortsatte sitt mördande. Bland de döda fanns flera barn.

Han dömdes i augusti 2020 till livstids fängelse utan möjlighet till förtida frigivning för 51 mord, 40 mordförsök och terrorbrott.

Brenton Tarrant livesände sitt dåd på internet och han hade innan attackerna lagt upp ett 74 sidor långt så kallat manifest på internetforumet 8chan. I manifestet sprider han sitt hat mot muslimer och konspirationsteorier om ett pågående folkutbyte. Även vapnen han använde vid terrordådet var fyllda med vit makt-propaganda och slagord.

Två år efter Christchurch-attacken, den 19 augusti 2021, går en 15-årig pojke beväpnad med bland annat en 17 centimeter lång kniv till sin högstadieskola i Eslöv. På plats attackerar han en lärare som akut får föras till sjukhus med ambulans.

15-åringen kunde gripas på platsen och döms i december samma år till sluten ungdomsvård i två år och sex månader för bland annat mordförsök.

Utredningen visade att han hade ett särskilt stort intresse för terrorattentatet i Christchurch och han efterlämnade ett dokument där dådet hyllas. Men även andra högerextrema dåd, som det i tyska Halle samma år, drog till sig 15-åringens intresse. I polisbeslagen återfinns även en lista där 15-åringen gjort noteringar om vilka elever och lärare han planerade att döda.

Ett knappt halvår senare, den 10 januari 2022 i Kristianstad, skadas en lärare och en elev när en 16-åring som själv är elev på skolan attackerar dem. Pojken var nära vän med 15-åringen i Eslöv. De kallade sig själva ”blodsbröder”. De har delat mordvideor med varandra och de delar fascinationen för skjutningarna i Christchurch. Kristianstads-eleven döms i juni till sluten ungdomsvård för tre fall av mordförsök och två fall av grovt olaga hot.

Dådet i Christchurch är ett talande exempel på hur våld och hat kan utgöra inspiration för andra som är villiga att agera med våld. Brenton Tarrant hyllade i sin tur i sitt manifest bland annat Anders Behring Breivik, amerikanen Dylann Roof som 2015 attackerade och mördade nio i en kyrka i USA, men även ett dåd i Sverige från samma år, den svenske skolmördaren Anton Lundin Pettersson som mördade tre personer och skadade andra i en skola i Trollhättan.

Men gärningsmännens egen dokumentation, hur de kommunicerar utåt, utgör inte bara en källa för inspiration för andra extremister. Materialet kan användas för att förstå vilka hatmotiv som driver dem – men också vilka specifika egenskaper och omständigheter som skapar en gärningsperson. Manifesten kan faktiskt utgöra en del i arbetet för att förhindra nya dåd.

Analytiker har alltid gjort manuella bedömningar av skriftliga hot eller så kallade manifest. Men det är en analysprocess som kan vara såväl resurs- som tidskrävande. Artificiell intelligens kan här utgöra en hjälp och dessutom på ett automatiserat sätt fånga upp sådant som det mänskliga ögat kan missa.

Efter dådet i Christchurch berättade Lisa Kaati, som då arbetade som forskare på Totalförsvarets forskningsinstitut FOI, att de gjort en körning av Breton Tarrants manifest och jämfört resultatet med Anders Berhring Breiviks texter. Verktyget som användes kallades PRAT, profile risk assesment tool. AI-analysen visade på stora likheter mellan gärningsmännen när det kommer till personlighet, självbild och känslotillstånd. Nästan alla graferna och parametrarna visade på stor samstämmighet gällande exempelvis beslutsamhet, narcissism och liten empati.

AI-analysen av bådas texter visade att de har personlighetsdrag och faktorer som en vilja att döda, användande av maktspråk, ilska, negativa känslor, en tydlig uppdelning mellan ”vi och dem”, målvetenhet och låg rädsla.

I dag är Lisa Kaati lektor vid Institutionen för data- och systemvetenskap på Stockholms universitet. Hon har medverkat i flera rapporter om ensamagerande våldsverkare, riskbedömning och de digitala spår som gärningsmännen lämnar efter sig. Tillsammans med andra forskare från olika ämnesområden har hon även varit med om att ta fram ett AI-baserat verktyg kallat Dechefr, en vidareutveckling av verktyget PRAT.

– Målet med Dechefr är att underlätta för analytiker att göra hotbedömningar av individer baserat på kommunikation. Verktyget bygger på tio års forskning om risk- och hotbedömningar, säger Lisa Kaati.

Hon berättar att utvecklingen av verktyget i den form det har nu började 2020 med stöd av Uppsala Innovation Center, men att en kontinuerlig utveckling sker hela tiden. En stor del av forskningen som Dechefr bygger på har skett inom ramen för olika forskningsprojekt vid Uppsala universitet och på FOI. Dechefr ägs av Mind Intelligence Lab, en startup som grundades av forskare aktiva vid Uppsala universitet.

AI kan bidra till att riskpersoner identifieras. Det handlar om att försöka sortera fram dem som har såväl avsikten som förmågan att begå ett våldsdåd, vilket innebär att hur saker sägs kan vara viktigare än vad – alla som sprider extremistiska idéer är inte beredda att gå från ord till handling. Men några är det och för samhället är det viktigt att kunna urskilja vilka dessa är.  

Verktyget bygger på skriftlig kommunikation från gärningsmän vars idéer kan kopplas till olika extremistmiljöer. Fokuset för Dechefr är att bedöma risken för att en radikaliserad individ ska ta till våld. Det görs genom att med AI analysera förekomsten av olika riskindikatorer i skriftlig kommunikation, som exempelvis fixering, identifiering, självbild och känslouttryck.

De flesta riskbedömningsprotokoll bygger på att man har tillgång till en individ, Dechefr gör bedömningar enbart på skriftlig kommunikation och ska enligt Lisa Kaati ses som ett komplement i det kontraterroristiska arbetet.

– Dechefr bedömer risken för riktat våld – en bedömning som bygger på olika typer av varningsbeteenden och riskfaktorer som är validerade i tidigare forskning. Det vi försöker fånga i hotbedömningarna är risken för att en person kommer att genomföra ett våldsdåd. Vi bryr oss inte om åsikter, men Dechefr kan ge indikationer på vilka internetmiljöer, och om det finns individer i form av tidigare våldsverkare, som individen är inspirerad av, säger Lisa Kaati och tillägger att vara ideologiskt motiverad är en riskfaktor.

 Lisa Kaati påpekar samtidigt att bara för att någon förespråkar våld betyder det inte att den personen kommer att begå ett våldsdåd. Målet är inte att fånga upp dem som hyser extrema åsikter utan de individer som figurerar i sådana miljöer och dessutom är benägna att begå våldsdåd. 

För att ”lära” verktyget att sålla korrekt så körs informationen även gentemot en så kallad ”normal population”, som består av 53 000 internetanvändare hämtade från en stor bredd av forum.

En som är specialist på riskpersonligheter är personlighetsforskaren Nazar Akrami på Uppsala universitet. Han är delägare i Mind Intelligence Lab och har varit med och utvecklat Dechefr utifrån sin kunskap om risk- och personlighetsprofiler.

– En grundförutsättning om man ska begå ett våldsdåd är att man ska ha så låg rädsla som möjligt. En neurotisk person kommer inte kunna begå en våldshandling. Även ett svart-vitt-tänkande är ett varningstecken, säger Nazar Akrami.

I arbetet med verktyget har de skapat enorma listor på nyckelord som har med rädsla eller oräddhet att göra för att kunna ringa in en personlighet. Enligt Nazar Akrami är även altruism är en faktor att ha koll på. Upplevelsen att man gör någonting gott för sin grupp. Ett drag som är återkommande bland till exempel våldsbenägna jihadister.

– Det här är nyckelfaktorerna vi kommit fram till. Viktiga personlighetsfaktorer, som kan ha betydelse för en individs våldskapital. Kombinationen att man är orädd, tänker svartvitt och är något altruistisk. Det gör att man kan gå ut och göra ganska mycket för sin grupp, säger Nazar Akrami.

Han påpekar att det är viktigt att göra en helhetsbedömning. Altruism kan vara hög även bland ickevåldsaktivister, till exempel personer som demonstrerar för flyktingars rättigheter.

Nazar Akrami vill också punktera uppfattningen att gärningsmän och massmördare oftast lider av någon slags klinisk psykisk sjukdom.

– Det vi vet från tidigare forskning och det jag själv har sett visar att det finns väldigt lite koppling till psykisk sjukdom hos dem som begår ideologiska våldshandlingar.

Precis som Lisa Kaati poängterar Nazar Akrami att verktyget ska ses som ett komplement till andra riskbedömningar och den preventiva terrorbekämpningen.

– Vi kan använda det för mycket snabbare riskbedömningar. För polis och säkerhetspersonal kommer nog sådana här verktyg att bli viktiga. För att kunna göra snabbare bedömningar och sållningar, säger han.

Några som visat intresse för verktyget är FBI,  polismyndigheter och underrättelsetjänster i olika länder. Men även till exempel företag som Google och Linkedin. Nazar Akrami säger dock att de inte har haft några kontakter med svenska myndigheter.

– Vi har erbjudit svensk polis, men faktiskt inte fått något svar.

En stor del av den svenska underrättelsetjänstens sätt att arbeta sker utanför offentlighetens insyn. Exakt hur Säpo arbetar med AI vill de inte avslöja. Men i augusti i år gick myndigheten ut med att den vill ha bättre möjligheter att hämta in information som sedan kan bearbetas och analyseras. Säpo menar i sin hemställan till regeringen att en lagöversyn behövs för att de ska få rätten att med teknik söka av stora informationsmängder på till exempel sociala medier. 

– När det kommer till vilka metoder vi använder så är vi knapphändiga i det vi kan säga. Men naturligtvis arbetar vi med tekniska lösningar inom ramen för vad gällande lagstiftning tillåter, säger Fredrik Hultgren-Friberg, pressekreterare på Säpo.

Han säger att det inte finns några lagliga hinder att analysera skriftlig information med hjälp av AI-verktyg, när det kommer till uppgifter som myndigheten redan i dag får samla in, till exempel rörande en brottsmisstänkt.

– Men vi ser det som nödvändigt att med tekniska hjälpmedel, artificiell intelligens, få söka igenom ett betydligt bredare material, exempelvis i sociala medier, något vi enligt nuvarande lagstiftning inte får göra.

Den nuvarande lagstiftningen sätter stopp för sådana typer av sökningar. Det beror på att de bredare informationsmängderna även kan förmodas innehålla personuppgifter som inte är direkt kopplade till det Säpo vill titta på. Även automatiserad AI-bearbetning ses i dag enligt lagen som personuppgiftsbehandling.

Även Fredrik Hultgren-Friberg påpekar att åsikter som sådana inte är av intresse, det är när de kan tänkas övergå till brottslig verksamhet det är intressant för Säkerhetspolisen. Men han säger att han inte kan gå in på exakt vilka metoder som används för att göra den analysen.

– Vi använder AI och tekniska verktyg i så hög utsträckning som lagstiftningen tillåter: jag skulle vilja påstå att vi är i teknisk framkant där och arbetar kontinuerligt med att utveckla de digitala verktygen. Men närmare detaljer än så kan jag inte ge, säger Fredrik Hultgren-Friberg.

Han påpekar att myndigheten arbetar brett när de gör sitt analysarbete.

– Det finns bland annat psykologresurser, analytiker och teknisk kompetens. Vi använder de verktyg som lagstiftning låter oss använda i det förebyggande arbetet mot demokratihoten.

AI och algoritmer kan underlätta vid brottsbekämpningen. Områden som bild-, beteende- och textanalyser är exempel som ofta nämns. Men även etiska risker lyfts fram, till exempel hur olika former av massövervakning av nätet riskerar att negativt påverka anonymitet och den personliga integriteten. Var gränserna för hur AI i framtiden kan användas i brottsbekämpning återstår att se.

Dechefr kan inte användas för att scanna av de delar av internet som Säpo efterfrågar, utan analysen kan endast göras på texter som manuellt laddas upp i programmet. Men Nazar Akrami är övertygad om att AI som verktyg är en väg framåt i utmaningen att kunna identifiera potentiella våldsverkare och att det med tiden kan utvecklas. Men för att komma framåt krävs det mer resurser och större kunskap kring psyko­metriska metoder, det vill säga statistiska metoder för analys av psykologiska och mentala faktorer.

– Jag var först lite skeptisk om man kunde gör personlighetsmodeller på det här sättet. Men jag är mycket mer optimistisk i dag.