INSTITUTIONEN FÖR TEKNIKENS EKONOMI OCH ORGANISATION AVDELNINGEN FÖR ENTREPRENÖRSKAP OCH STRATEGI CHALMERS TEKNISKA HÖGSKOLA Göteborg, Sverige 2020 www.chalmers.se Kandidatarbete TEKX04-20-04 Framtidens domstol En utforskande studie kring implementering av AI inom det svenska domstolsväsendet Kandidatarbete inom Industriell ekonomi ANDREAS ANDERSSON TOBIAS KARLSSON JONATAN LANDIN MARKUS TURESSON Kandidatarbete TEKX04-20-04 Framtidens domstol En utforskande studie kring implementering av AI inom det svenska domstolsväsendet Court of the future An explorative study on the implementation of AI within the Swedish judiciary ANDREAS ANDERSSON TOBIAS KARLSSON JONATAN LANDIN MARKUS TURESSON TEKNIKENS EKONOMI OCH ORGANISATION Avdelning för Entreprenörskap och Strategi CHALMERS TEKNISKA HÖGSKOLA Göteborg, Sverige 2020 Framtidens domstol En utforskande studie kring implementering av AI inom det svenska domstolsväsendet ANDREAS ANDERSSON TOBIAS KARLSSON JONATAN LANDIN MARKUS TURESSON © ANDREAS ANDERSSON, 2020 © TOBIAS KARLSSON, 2020 © JONATAN LANDIN, 2020 © MARKUS TURESSON, 2020 Kandidatarbete TEKX04-20-04 Teknikens ekonomi och organisation Chalmers tekniska högskola 412 96 Göteborg Sverige Telefon + 46 (0)31-772 1000 Göteborg, Sverige 2020 Gothenburg, Sweden 2020 Court of the future An explorative study on the implementation of AI within the Swedish judiciary ANDREAS ANDERSSON TOBIAS KARLSSON JONATAN LANDIN MARKUS TURESSON Department of Technology Management and Economics Chalmers University of Technology SUMMARY This paper aims to further the knowledge regarding what possibilities exists for the implementation of AI in the Swedish judiciary, and what ramifications a potential use of AI would have for Swedish courts and society. Currently, AI is making a rapid advance in our society, AI programs are being integrated into many aspects of life. How will one of society's most slow-moving institutions, the courts, make use of the technical advances made in the fast-moving field of AI? Today Swedish courts are not wholly uniform in their judging. Furthermore, the administrative courts have a substantial backlog of court cases. In this study, the possibility of using AI to help solve these issues is researched, and the main factors impacting the successful use of AI within the courts are identified. The study contains a set of 16 interviews with experts on either AI or law. From the interviews different perspectives were determined and categorized into themes. The knowledge gathered from these themes were combined with a theoretical framework to identify four key factors for successfully utilizing AI in Swedish courts. These consist of building the AI for a specific purpose, clarifying the burden of responsibility, developing the AI with transparency and explainability in mind and being aware of issues stemming from bias. Keywords: Artificial Intelligence, Judiciary, Automatization, Bias, Transparency Note: The report is written in Swedish. SAMMANFATTNING Syftet med denna rapport är att undersöka möjligheterna att implementera AI i det svenska domstolsväsendet och vilka följder som en potentiell användning av AI skulle kunna ha för Sveriges domstolar och det svenska samhället. I dagsläget används AI i allt större utsträckning inom samhällets olika funktioner, men hur kommer en av samhällets mest trögrörliga institutioner, domstolsväsendet, kunna utnyttja de tekniska framsteg som gjorts inom det snabbt avancerande fältet AI? Svenska domstolar är idag inte helt enhetliga i sitt dömande. Dessutom har förvaltningsrätterna väldigt långa handläggningstider i vissa typer av mål. I denna studie utforskas AI:s möjlighet att lösa dessa problem. Vidare identifieras huvudfaktorerna som påverkar hur framgångsrik användningen av AI inom domstolsväsendet blir. Studien baseras på underlag från 16 intervjuer med områdesexpert på antingen AI eller juridik. Från intervjuerna fångades olika perspektiv upp, som därefter delades in i teman. Kunskapen och informationen som samlades in från dessa teman kombinerades med ett teoretiskt ramverk för att identifiera fyra nyckelfaktorer för framgångsrikt nyttjande av AI inom svenska domstolar. Dessa är att bygga AI:n utifrån ett förutbestämt syfte, att tydliggöra ansvarsfördelningen, att utveckla AI:n med fokus på transparens och förklarbarhet och att vara medveten om och försöka minimera oönskad bias. Nyckelord: Artificiell Intelligens, Domstolsväsendet, Automatisering, Bias, Transparens Notera: Rapporten är skriven på svenska. Förord Detta kandidatarbete genomfördes under våren 2020 vid avdelningen för Entrepreneurship and Strategy på institutionen Teknikens ekonomi och organisation på Chalmers tekniska högskola och omfattar 15 högskolepoäng. Detta är för oss den avslutande delen av kandidatexamen vid industriell ekonomi. Vi vill börja med att tacka alla de personer som tagit sig tid till att ställa upp på intervjuer, och därmed gjort denna rapport möjlig. Tack för att ni bidragit med värdefulla kunskaper och insikter inom områden som varit nya för oss. Vi vill även rikta ett tack till kursens examinator Erik Bohlin för hans engagemang i kursen. Slutligen vill rikta ett stort tack till vår handledare Charlotta Kronblad, doktorand på avdelningen för Entrepreneurship and Strategy, vars expertis, entusiasm och breda kontaktnät har varit ovärderligt för utförandet av detta arbete. Chalmers Tekniska Högskola Göteborg, Sverige 14:e Maj, 2020 Innehållsförteckning Ordlista ............................................................................................................................................................... 8 1. Inledning .................................................................................................................................................. 1 1.1 Bakgrund ........................................................................................................................................ 1 1.1.1 Artificiell intelligens och juridik..................................................................................... 2 1.2 Problem och problemanalys ................................................................................................... 3 1.3 Syfte .................................................................................................................................................. 3 1.3.1 Frågeställning ........................................................................................................................ 4 1.4 Avgränsningar .............................................................................................................................. 4 2. Metod och genomförande ................................................................................................................. 4 2.1 Processens utformning ............................................................................................................. 5 2.2 Datainsamling ............................................................................................................................... 5 2.3 Tematisering och analys .......................................................................................................... 8 3. Teoretiskt ramverk .............................................................................................................................. 8 3.1 AI ....................................................................................................................................................... 8 3.1.1 Maskininlärning ................................................................................................................. 10 3.1.1.1 Modeller för maskininlärning .............................................................................. 12 3.1.1.1.1 Neurala nätverk .................................................................................................... 12 3.1.1.1.2 Bayesiska nätverk ................................................................................................ 14 3.2 Existerande juridiska tillämpningar av AI ...................................................................... 15 3.2.1 Trelleborgsmodellen ........................................................................................................ 15 3.2.2 Brottsförutspående programvaror ............................................................................. 16 3.3 AI och etik .................................................................................................................................... 18 3.3.1 Algoritmisk rättvisa och bias ......................................................................................... 18 3.3.2 Befintliga riktlinjer för AI ............................................................................................... 21 3.4 FN:s globala hållbarhetsmål ................................................................................................. 23 4. Resultat och analys ............................................................................................................................ 25 4.1 Positiva implikationer ............................................................................................................. 26 4.1.1 Kostnader och effektiviseringar ................................................................................... 26 4.1.1.1 Juridik ............................................................................................................................ 26 4.1.1.2 AI...................................................................................................................................... 27 4.1.2 Domstolarnas kvalitet och enhetlighet ..................................................................... 28 4.1.2.1 Juridik ............................................................................................................................ 28 4.1.2.2 AI...................................................................................................................................... 29 4.2 Risker och begränsningar ...................................................................................................... 29 4.2.1 Transparens och förklarbarhet .................................................................................... 31 4.2.1.1 Juridik ............................................................................................................................ 31 4.2.1.2 AI...................................................................................................................................... 32 4.2.2 Bias och representativa data ......................................................................................... 34 4.2.2.1 Juridik ............................................................................................................................ 34 4.2.2.2 AI...................................................................................................................................... 35 4.2.3 Kunskap och kompetens ................................................................................................. 37 4.2.3.1 Juridik ............................................................................................................................ 38 4.2.3.2 AI...................................................................................................................................... 38 4.2.4 Tillit och legitimitet ........................................................................................................... 39 4.2.4.1 Juridik ............................................................................................................................ 39 4.2.4.2 AI...................................................................................................................................... 40 4.2.5 Tröghet inom det juridiska väsendet ......................................................................... 41 4.2.5.1 Juridik ............................................................................................................................ 41 4.2.5.2 AI...................................................................................................................................... 42 4.2.6 Kritik mot befintliga system ......................................................................................... 43 4.2.6.1 Juridik ............................................................................................................................ 43 4.2.6.2 AI...................................................................................................................................... 44 4.3 Implementeringsaspekter ..................................................................................................... 45 4.3.1 Användningsområden ...................................................................................................... 46 4.3.1.1 Juridik ............................................................................................................................ 46 4.3.1.2 AI...................................................................................................................................... 48 4.3.2 Placering och fördelning av ansvarsbördan ............................................................ 49 4.3.2.1 Juridik ............................................................................................................................ 49 4.3.2.2 AI...................................................................................................................................... 49 4.3.3 Prestandakrav på AI ........................................................................................................ 50 4.3.3.1 Juridik ............................................................................................................................ 50 4.3.3.2 AI...................................................................................................................................... 51 4.3.4 Möjlighet till överklagan ................................................................................................. 52 4.3.4.1 Juridik ............................................................................................................................ 52 4.3.4.2 AI...................................................................................................................................... 53 4.3.5 Metodik för implementering och lämpliga metoder ............................................ 53 4.3.5.1 Juridik ............................................................................................................................ 54 4.3.5.2 AI...................................................................................................................................... 54 4.4 Respondenternas inställning ................................................................................................ 56 4.4.1 Juridik ..................................................................................................................................... 56 4.4.2 AI .............................................................................................................................................. 57 5. Diskussion ............................................................................................................................................. 59 5.1 Direkta effekter av AI-implementering ............................................................................ 59 5.2 Indirekta effekter av AI-implementering ........................................................................ 60 5.3 Tekniska aspekter ..................................................................................................................... 63 5.4 Tillvägagångssätt vid implementering ............................................................................. 64 5.5 Vidare forskning och utredning .......................................................................................... 65 6. Slutsats och rekommendation ....................................................................................................... 66 Källförteckning .............................................................................................................................................. 68 Bilagor .............................................................................................................................................................. 75 1. Frågor till respondenter inom området juridik ...................................................................... 75 2. Frågor till respondenter inom området AI ............................................................................... 76 Ordlista Allmänna domstolar - De allmänna domstolarna handlägger brottmål och tvistemål (tvister mellan enskilda). De allmänna domstolarna är tingsrätter, hovrätter och Högsta domstolen.1 Artificiell intelligens (AI) - Ett program som har förmågan att utföra uppgifter normalt associerade med mänsklig intelligens.2 Bias - Något eller någon motsätter sig eller stödjer en särskild person eller sak på ett orättvist sätt, på grund av personliga åsikter som påverkar omdömet.3 Brottsrubricering - Straffrättsligt namn på viss gärning, exempelvis mord, rån etcetera4 Dataset - En uppsättning av flera typer av fristående information, vilka behandlas som en enhet av en dator.5 Falskt positiv - När ett söksystem uppger att det har hittat något, trots att det inte är vad söksystemet är avsett att hitta.6 Förvaltningsdomstol - Förvaltningsdomstolar handlägger mål som bland annat rör förhållandet mellan enskilda individer och det allmänna, exempelvis skattemål, utlännings- och medborgarskapsmål eller socialmål.7 Generell AI - En AI som, likt en människa, kan hantera vilken uppgift som helst inom rimliga gränser.8 Hovrätt - Hovrätten är den andra instansen inom de allmänna domstolarna. Det gäller både brottmål och tvistemål som överklagats från tingsrätten.9 Högsta domstolen (HD) - Högsta domstolen är den tredje och sista instansen av de allmänna domstolarna. För att ett mål ska tas upp av HD krävs i nästan alla fall ett prövningstillstånd. Detta beviljas endast om målet är av betydelse för bedömning av andra mål av liknande karaktär, s.k. prejudikat.10 1Allt om Juridik, Juridisk ordlista. Hämtad 2020-03-06 från https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ 2 IT-ord, Artificiell intelligens, Hämtad 2020-03-06 från https://it-ord.idg.se/ord/artificiell-intelligens/ 3 Cambridge Dictionary, Bias. Hämtad 2020-05-07 från https://dictionary.cambridge.org/dictionary/english/bias 4 Allt om Juridik, Juridisk ordlista Hämtad 2020-03-06 från https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ 5 Cambridge dictionary, Dataset. Hämtad 2020-05-09 från https://dictionary.cambridge.org/dictionary/english/dataset 6 IT-ord, Falsk positiv. Hämtad 2020-03-06 från https://it-ord.idg.se/ord/falsk-positiv/ 7 Allt om Juridik. Juridisk ordlista. Hämtad 2020-03-06 från: https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ 8 Hackernoon.com, General vs narrow AI. Hämtad 2020-05-09 från: https://hackernoon.com/general-vs-narrow-ai-3d0d02ef3e28 9 Allt om Juridik, Juridisk ordlista. Hämtad 2020-03-06 från: https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ 10 Allt om Juridik, Juridisk ordlista. Hämtad 2020-03-06 från: https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ https://it-ord.idg.se/ord/artificiell-intelligens/ https://dictionary.cambridge.org/dictionary/english/bias https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ https://dictionary.cambridge.org/dictionary/english/dataset https://it-ord.idg.se/ord/falsk-positiv/ https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ https://hackernoon.com/general-vs-narrow-ai-3d0d02ef3e28 https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ Juridiskt mål - Benämning på det åtal eller den tvist som är föremål för rättegång vid en juridisk tvist.11 Maskininlärning - Algoritmer som klarar av att lösa specifika uppgifter utan att använda explicita instruktioner, istället används mönster och slutledningsförmåga för att producera resultat.12 Rättssäkerhet - Saknar entydig definition, men innebär att systemet ger den enskilda medborgaren skydd för godtyckliga ingrepp från samhället självt, att domar inte faller utan tydligt lagstöd och tydlig bevisning, samt att alla medborgare bedöms på ett likartat sätt.13 Snäv AI - AI som är specialiserad på att hantera en enda uppgift.14 Tingsrätt - Tingsrätten är den första instansen inom det allmänna domstolsväsendet. En tingsrätt prövar brottmål och tvistemål.15 11 Allt om Juridik, Juridisk ordlista. Hämtad 2020-03-06 från https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ 12 Koza, John R.; Bennett, Forrest H.; Andre, David; Keane, Martin A, Automated Design of Both the Topology and Sizing of Analog Electrical Circuits Using Genetic Programming. Artificial Intelligence in Design '96. Springer, Dordrecht. pp. 151–170. doi:10.1007/978-94-009-0279-4_9, Hämtad 2020-03-06 13 Allt om Juridik, Juridisk ordlista. Hämtad 2020-03-06 från https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ 14 DeepAi.org, What is Narrow AI?. Hämtad 2020-05-09 från https://deepai.org/machine-learning-glossary-and-terms/narrow-ai 15 Allt om Juridik, Juridisk ordlista. Hämtad 2020-03-06 från https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ https://en.wikipedia.org/wiki/Digital_object_identifier https://doi.org/10.1007%2F978-94-009-0279-4_9 https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ https://deepai.org/machine-learning-glossary-and-terms/narrow-ai https://www.alltomjuridik.se/lar-dig-juridiska/juridisk-ordlista/ 1 1. Inledning I kapitlet Inledning presenteras bakgrunden till studien och vilka problem den avser att utforska, dessa problem analyseras och utifrån detta formuleras studiens syfte och frågeställning. Slutligen redogörs för studiens avgränsningar. 1.1 Bakgrund Att alla människor är lika inför lagen är en stöttepelare i en väl fungerande rättsstat. Denna princip går under namnet likhetsprincipen. Principen är fastlagd i svensk lag, “Domstolar samt förvaltningsmyndigheter och andra som fullgör offentliga förvaltningsuppgifter ska i sin verksamhet beakta allas likhet inför lagen samt iaktta saklighet och opartiskhet” (Lag, SFS 2010:1408). Enligt Förenta nationerna (FN, 2008) är likhet inför lagen och juridiskt skydd utan diskriminering en mänsklig rättighet. Svensk lag fastställer också att en rättegång måste hållas inom skälig tid, “En rättegång ska genomföras rättvist och inom skälig tid. Förhandling vid domstol ska vara offentlig” (Lag, SFS 2010:1408). En studie från Brottsförebyggande rådet (Brå, 2017) fann att det existerade ett antal betydande ojämlikheter inom det svenska domstolsväsendet. Det fanns bland annat utbredda geografiska skillnader, till exempel var sannolikheten att dömas till fängelse i Lycksele tingsrätt mindre än hälften jämfört med i Värmlands tingsrätt. I ett annat exempel från rapporten fokuserades särskilt på grovt rattfylleri. Brå identifierade att det var 60 procent större sannolikhet att män dömdes till fängelse för förseelsen jämfört med kvinnor, samt att det geografiskt fanns stora skillnader med avseende på påföljd. I Lycksele dömdes endast 34 procent till fängelse, motsvarande siffra uppgick i Örebro tingsrätt till 62 procent. Rapporten nämner naturliga förklaringar till detta, som att individerna som dömdes i Lycksele i större utsträckning var under 21 år och att de dömda i Örebro redan existerade i brottsregistret. Dock understryks i rapporten att spridningen, dessa faktorer till trots, var anmärkningsvärd. Enligt Regeringskansliet (2019) har antalet inkomna ärenden till Sveriges domstolar ökat markant under de senaste åren. I syfte att bibehålla domstolarnas höga kvalitet och effektivitet föreslår regeringen att det ekonomiska stödet till Sveriges domstolar bör ökas under de kommande åren. Under 2020 respektive 2021 vill regeringen öka domstolarnas 2 anslag med 280 respektive 275 miljoner kronor, detta anslag var under 2019 knappt 5,7 miljarder kronor (Regeringen, 2018). Utöver de ökade kostnaderna har domstolarna även långa handläggningstider. Förvaltningsrätten i Göteborg (2019) har till exempel i mål som berör beskattnings- och socialförsäkringsärenden handläggningstider på 13–17 månader. Ännu mer utdragna processer har mål om uppehållstillstånd på grund av skydds- eller asylskäl, med handläggningstider på 20–24 månader. Även förvaltningsrätten i Linköping (2019) och i Malmö (2019) har en liknande situation rörande handläggningstider. 1.1.1 Artificiell intelligens och juridik Begreppet artificiell intelligens (AI) myntades av professor John McCarthy år 1955 och det syftar till vetenskapen och tekniken att konstruera intelligenta maskiner och mer specifikt intelligenta datorprogram (Stanford University, u.å.). Häggström (2019) skriver att AI- forskningen befinner sig i stark expansion och att den visar stora framgångar inom ett flertal olika områden och att det eventuellt kommer ske ett större genomslag för AI-tekniker. Att använda sig av artificiell intelligens inom juridiken är inte en ny idé. Under 1980-talet diskuterades konceptet flitigt och år 1987 hölls den första internationella konferensen som innefattade juridik och AI (Rissland, Ashley & Loui, 2003). Inom andra områden används redan AI för att fatta beslut. Ett exempel på detta är den så kallade Trelleborgsmodellen, där socialtjänsten använder algoritmer som tar fram beslutsunderlag samt beslutar huruvida en ansökan om försörjningsstöd ska beviljas eller ej (Trelleborgs kommun, 2019). Richard Susskind och Phillip Capper utvecklade 1988 det första kommersiella AI-systemet inom juridik (Susskind, 2019). Systemet var designat att svara på frågan, “När kan en specifik handling inte längre kan göras gällande på grund av att den är preskriberad?”. Programmet var designat som ett stort beslutsträd med över två miljoner vägar, en för varje typ av fall som Susskind och Capper kunde komma på. Detta tidiga AI-program reducerade undersökningstiden i vissa fall från timmar till minuter. Susskind nämner vidare att det idag existerar en rad AI-program baserade på maskininlärning som med hjälp av stora mängder data kan identifiera mönster, likheter och samband som mänskliga advokater inte klarar av med konventionella metoder. Dessa program är enligt Susskind redan idag mer effektiva än juniora advokater gällande granskning av stora mängder text samt på att välja ut vilka dokument som är mest relevanta. 3 1.2 Problem och problemanalys Sveriges domstolar arbetar idag efter likhetsprincipen - att lika fall skall behandlas lika. Brå:s rapport “Enhetligt dömande i tingsrätter” (2017) visar på en inkonsekvent bedömning av lika brott mellan Sveriges olika tingsrätter. Rapporten visar även på att sannolikheten att gärningspersonen döms till fängelse varierar beroende på kön. Dessa två faktorer pekar på att likhetsprincipen idag inte tillämpas som det är skrivet i svensk lag och att det bör ske någon form av standardisering av Sveriges domstolar. Även de svenska förvaltningsdomstolarna står inför stora utmaningar då handläggningstiderna för vissa typer av mål är mycket långa. Detta kan vara anledning att ifrågasätta om mål tas upp inom skälig tid. Ur ett etiskt perspektiv, specifikt för tillämpningen av rättvisa, så har AI möjligheten att stärka nuvarande system. Future of Life Institute (2017) har tagit fram en lista med 23 principer för utvecklingen av AI. En av dessa principer är juridisk transparens, vilket innebär att ett autonomt system inblandat i juridiskt beslutsfattande ska kunna förklara sina resultat till en kompetent mänsklig auktoritet. Att AI ska designas och användas så att den korrelerar med mänskliga värderingar angående värdighet, rättigheter, friheter och kulturell mångfald är också en av dessa principer. Future of Life Institute nämner även andra principer för AI- utveckling, som syftar till att så många som möjligt ska kunna dra nytta av AI och välståndet som skapas. Dessa principer beskriver inte bara utmaningar gällande utvecklingen av AI utan även möjligheter till förbättringar för hela mänskligheten. Många av principerna kan om de följs bidra till att FN:s globala mål för hållbar utveckling uppnås (UNDP, 2015). De svenska domstolarna tillämpar alltså inte likhetsprincipen fullt ut och är, speciellt gällande förvaltningsdomstolarna, inte tillräckligt effektiva. AI har eventuellt potentialen att lösa båda dessa utmaningar eftersom tekniken har stora möjligheter att både standardisera och accelerera svenska domstolars arbete. 1.3 Syfte Studien ämnar utreda hur AI kan användas i svenska domstolar, vilka möjligheter, risker och begränsningar som finns. Resultatet kommer i sin tur att användas för att ta fram rekommendationer för implementering av AI inom det svenska domstolsväsendet. 4 1.3.1 Frågeställning Studien har utgångspunkt i följande frågeställningar: ● Hur kan AI användas i svenska domstolar? ● Vilka möjligheter, risker och begränsningar finns med AI-implementering inom domstolsväsendet? 1.4 Avgränsningar För att kunna utföra relevanta intervjuer och sammanställa adekvat litteratur avgränsades studien. Studien fokuserade på svenska domstolar och hur AI kan implementeras i dessa för att öka deras effektivitet, kvalitet och enhetlighet. Ytterligare en avgränsning var att studien inte gick in på djupet av tekniken bakom AI, utan tog ett mer översiktligt grepp. 2. Metod och genomförande Inom ramen för kandidatarbetet har en studie genomförts som bedömdes vara explorativ, kvalitativ och av abduktiv karaktär. I syfte att få insikt i hur AI kan användas i domstolsväsendet och vad en sådan användning kan innebära, genomfördes kontinuerliga intervjuer med personer som besitter särskild områdesexpertis. Utöver detta tillkom information som hämtats i syfte att bygga upp det teoretiska ramverk som skapade underlag för diskussion. En explorativ studie syftar till att svara på frågor som nyttjas vid bestämning av fokuspunkter för framtida undersökningar och för att få fundamentala kunskaper kring basala frågor för det studerade problemet. Eftersom studien använder sannolika samband och rimliga antaganden för att identifiera problemet, snarare än att säkert veta dess exakta beståndsdelar, nyttjade studien per definition en abduktiv metodik (Wallén, 1996). Studiens kvalitativa karaktär lämpade sig för frågeställningen då en öppnare frågeställning med områdesexperter leder till svar som är mer målande och förklarande i sin natur, samt att svaren eventuellt är oväntade och leder till nya diskussionsområden (Family Health International, u.å.). 5 2.1 Processens utformning Studien baserades på datainsamling från intervjuer med områdesexperter inom såväl AI som juridik. För att underbygga vidare analys av detta underlag har ett teoretiskt ramverk skapats utifrån relevant litteratur. Därmed baseras rapporten på primärdata, med sekundärdata som stöd. Arbetet grundar sig huvudsakligen på kvalitativa data, som sammanställts och analyserats på ett för projektet relevant sätt. För att denna analys skulle vara möjlig behövde intervjuerna byggas upp systematiskt och enhetligt i den mån det var genomförbart. Samtliga intervjuer hade således utgångspunkt i samma originalmall, med viss anpassning för respektive område. Intervjuerna genomfördes med semistrukturerad intervjuteknik, som säkrar jämförbarhet mellan intervjuerna tack vare en gemensam struktur, men bibehåller möjlighet till hög flexibilitet (Bryman & Bell, 2015). Vid varje intervjutillfälle närvarade två personer, kombinerade i olika konstellationer i syfte att maximera variationen avseende perspektiv. I inledningen av samtliga intervjuer sammanfattades dess syfte, och respondentens inställning till inspelning och anonymitet kontrollerades. 2.2 Datainsamling Under arbetsprocessens gång genomfördes flertalet intervjuer med personer som besitter särskild kunskap inom områden som berörs av arbetet. I planeringsstadiet bedömdes dessa dels vara personer aktiva inom det juridiska väsendet, och dels personer som forskar på eller arbetar med AI i allmänhet samt kombinationen AI och etik i synnerhet. Kontakt etablerades i vissa fall efter tips från handledare, i andra fall genom kontakt via e-post som tagits efter att personen bedömts vara av intresse för studien. Ett så kallat snöbollsurval användes i enstaka fall, där primära kontakter förmedlar information och intervjuare vidare till andra personer inom deras sociala nätverk (Bryman & Bell, 2015). Urvalsmetodiken kan med fördel användas för att nå ut till grupper eller individer som inte skulle nås med andra urvalsstrategier (Family Health International, u.å.). Dessutom medför nyttjandet av sociala nätverk en möjlighet att utforska de olika respondenternas relation och interaktion med varandra, samt att identifiera dynamiken i dessa nätverk (Noy, 2008). En nackdel med ett sådant respondenturval är att det är svårt att hävda generalitet. Detta eftersom valet av personen som får snöbollen att rulla är högst subjektivt och medför att urvalet är att betrakta som partiskt (Griffiths et al, 1993). 6 Intervjuerna genomfördes sedan i form av fysiska möten eller på distans, där majoriteten har utförts med hjälp av videosamtal men i enstaka fall utan video. Dessa samtal spelades in förutsatt godkännande från respondent som även fick ge sitt godkännande till att bli omnämnd och citerad i rapporten. För att säkerställa att respondenterna ansåg sig korrekt citerade skickades deras citat med tillhörande brödtext ut via e-post för revidering och godkännande innan publicering. Intervjuer med 16 personer, fördelade på områdena AI respektive juridik, genomfördes i syfte att ge studien önskat omfång. I enlighet med vad Guest, Bunce och Johnson (2006) belyser i sin artikel, bedömdes detta antal intervjuer ge ett informationsunderlag som motsvarar tillräcklig grad av datamättnad, vilket innebär att ytterligare intervjuer inte skulle tillföra tillräckligt mycket information för att det skulle anses vara värdefullt att utföra dem (Faulkner & Trotter, 2017). Tabell 1: Intervjuobjekt inom AI. Namn Befattning Tid Jacob Dexe Industridoktorand, RISE och Kungliga Tekniska högskolan 44 min Frank Dignum Professor, Institutionen för datavetenskap, Umeå universitet 25 min Karl de Fine Licht Lektor i teknik och etik, Teknikens ekonomi och organisation, Chalmers tekniska högskola 49 min Fredrik Heintz Biträdande professor, Institutionen för datavetenskap, Linköpings universitet 57 min Fredrik Johansson Forskarassistent på avdelningen för Data science och AI, institutionen för data- och informationsteknik, Chalmers tekniska högskola 63 min Josefin Rosén Chefsrådgivare inom Advanced Analytics and AI, SAS Institute 44 min 7 Thomas Schön Professor i reglerteknik, institutionen för Informationsteknologi, Uppsala universitet 44 min Tabell 2: Intervjuobjekt inom juridik. Namn Befattning Tid Stanley Greenstein Universitetslektor, Juridiska Institutionen, Stockholms universitet i.u.* Anders Hagsgård Hovrättspresident, Hovrätten för Västra Sverige 36 min Magnus Ivarsson Verksamhetsutvecklare, Domstolsverket 26 min John Lagström IT-strateg, Domstolsverket 56 min Anna-Sara Lind Professor i offentlig rätt, Juridiska institutionen, Uppsala universitet 29 min Andrea Lindblom Administrativ chef, Helsingborgs tingsrätt 36 min Markus Naarttijärvi Universitetslektor, Juridiska institutionen, Umeå universitet 35 min Johan Sanner Chefsrådman, Förvaltningsrätten i Göteborg 64 min Björn Östman Domare, Hovrätten för Västra Sverige, IT- utvecklare, Domstolsverket 65 min *Intervjun kunde inte spelas in på grund av tekniska problem. Syftet med dessa intervjuer var, utöver att samla in primärdata till den slutliga rapporten, också att skapa förståelse för de olika parternas perspektiv på implementeringen av AI inom domstolsväsendet. För att undvika misstaget att påbörja datainsamlingen för tidigt konstruerades merparten av det teoretiska ramverket innan intervjuerna med avsikt att tydliggöra syftet (Lantz, 2013). 8 2.3 Tematisering och analys I syfte att identifiera gemensamma mönster och teman för intervjuerna genomfördes en tematisk analys, vilket lämpar sig väl för att analysera kvalitativa data (Blomkvist, 2014). Eftersom tolkningar av kvalitativa data är att betrakta som subjektiva, så tolkade och analyserade samtliga gruppmedlemmar gemensamt allt intervjuinnehåll. Baserat på frågeställningen identifierades tre huvudteman, vilka sedan delades in i underteman. Dessa underteman bestämdes utifrån frekvent förekommande och relevanta begrepp, relaterade till respektive huvudtema, som framkom under intervjuerna. Detta följdes av att intervjuerna analyserades ytterligare en gång med utgångspunkt i dessa underteman. I enstaka fall bedömdes aspekter som inte var lika frekvent förekommande som särskild intressanta, dessa skapade då underteman som kompletterade den mer traditionella tematiska analysen. På grund av det subjektiva urvalet av respondenter adderades ytterligare ett huvudtema, Respondenternas inställning, för att tydliggöra respondenternas ståndpunkt. I enlighet med vad Blomkvist (2014) understryker genomfördes en reduceringsprocess på samtliga teman, där innehåll som bedömdes irrelevant för vidare analys exkluderades. Denna process skedde först då gruppen genom skapandet av det teoretiska ramverket hade tillräckligt kunskapsunderlag för att bedöma diverse uppgifters relevans. Utöver detta används citat från intervjuerna för att ytterligare stärka och nyansera den sammanställning som gjorts av respondenternas svar. 3. Teoretiskt ramverk I kapitlet Teoretiskt ramverk presenteras litteratur som är relevant för rapporten. Ramverket är tänkt att ge läsaren en djupare teoretisk förståelse, samt att bidra med ytterligare diskussionsunderlag till rapportens resultat. 3.1 AI Artificiell intelligens (AI) är ett begrepp som nämns i en mängd olika sammanhang, tekniken har haft en snabb tillväxt och implementeras i allt från tandborstar till självkörande bilar. Definitionen för vad AI egentligen är har varierat med tiden, men enligt 9 Nationalencyklopedin är syftet med AI att artificiellt kunna efterlikna den mänskliga hjärnans olika förmågor kring till exempel problemlösning, informationsinsamling och språk (Artificiell intelligens, 2020). Att specificera vad som är och vad som inte är AI är svårt. Häggström (2019) menar att många aktörer på senare år har valt att räkna sina egna system som AI för publicitet och finansiering och att detta har bidragit till ytterligare förvirring kring begreppet. Förslag på definitioner är enligt Häggström “automatiserat beslutfattande” och “effektiv optimering”. Vidare så krävs det ett visst mått av komplexitet för att undvika att system för exempelvis en termostat ska klassas som AI. Som ett resultat av att en standardiserad nomenklatur inom AI-området saknas har begreppen upplärd AI och självlärd AI introducerats i denna studie, i syfte att hålla isär olika typer av AI. En upplärd AI har enligt rapportens egen definition byggts utan någon form av maskininlärning, vilket i praktiken betyder att all kod är genererad av en människa. Detta skulle exempelvis kunna vara någon form av beslutsträd. Självlärd AI är däremot en modell som byggts genom användning av maskininlärning. Detta illustreras nedan i figur 1. Figur 1: Träd som skiljer upplärd AI från självlärd AI. AI är ingen ny teknik, redan 1979 blir backgammonprogrammet BKG första program att besegra en världsmästare i någon form av spel. 1994 fortsätter AI:s framgångar när CHINOOK vinner världsmästerskapet i dam och blir därmed första program att koras till 10 världsmästare i ett skicklighetsbaserat spel (Bostrom 2014). Bostrom beskriver två olika typer av AI, snäv och generell. BKG och CHINOOK är två exempel på snäv AI. Snäv AI är program som endast klarar av en specifik uppgift, CHINOOK spelar dam och skulle inte klara av att spela schack. Andra exempel på snäv AI som är mer vardagligt förekommande är Googles sökalgoritm och Apples röstassistent Siri. Var gränsen mellan allmän mjukvara och AI går är inte klarlagt och program som klassas som AI av vissa behöver eventuellt inte klassas som det av andra. Generell intelligens är AI som har en övermänsklig intelligens inom ett område (Bostrom, 2014). Till exempel skulle en ingenjörs-AI utklassa alla mänskliga områdesexperter inom allt som rör ingenjörskonst. Denna generella intelligens är emellertid i dagsläget inte tekniskt möjlig, utan förmodligen några årtionden bort. 3.1.1 Maskininlärning 1965 publicerades Nils Nilssons bok “Learning Machines: foundations of trainable pattern- classifying systems” (Nilsson, 1965). Nilsson ämnade att presentera resultat från det då nya och spännande området inlärningsmaskiner. Dessa maskiner definieras genom att deras handlingar påverkas av dåtida erfarenheter. Idag används istället uttrycket maskininlärning eller maskinell statistisk inlärning. Maskininlärning definieras som ett datorprogram vilket innehar förmågan att lära sig från erfarenheter utifrån hur den tidigare presterat på en viss uppgift (Mitchell, 1997). Till exempel kan ett program designat för att lära sig spela dam förbättras utifrån antalet segrar som prestationsmått, där uppgiften är att spela och erfarenheten är tidigare matcher. Maskininlärning kombinerar datavetenskap med matematik och statistik för att skapa modeller som kan anpassa sig (Marsland, 2014). Med detta menas att parametrar kan modifieras i en modell så att outputen bättre representerar det förväntade resultatet, givet en viss input. På så sätt kan modellen lära sig och får en generaliserad förståelse för ett visst område, det vill säga att den klarar av att generera rimliga förutsägelser från data som inte fanns med vid inlärningen. 11 Marsland (2014) nämner två typer av problem där maskininlärning är användbart. Den första typen är så kallade regressionsproblem, vilket är ett problem där en beroende variabel är förutsedd med hjälp av en uppsättning inputvariabler. Ett exempel på ett sådant problem är hur ett elföretag kan använda sig av inputvariabler som historisk förbrukning, väder och säsong samt vad det är på tv för att förutspå hur mycket el som kommer förbrukas vid vissa tidpunkter i framtiden, vilket motsvarar modellens outputvariabel. Den andra typen är så kallade klassificeringsproblem, vilket är en typ av problem där output är vilken av en mängd klasser varje set av inputvariabler passar in i (Marsland, 2014). Ett exempel på detta är en modell som klassificerar låntagare i olika riskgrupper, där varje grupp har olika risk att inte kunna betala tillbaka. Inputvariabler i ett sådant system skulle kunna vara ålder, total skuld och lön. Det är också värt att notera att vissa problem kan formuleras om så att de byter typ (Marsland, 2014). I låneproblemet skulle exempelvis regression kunna nyttjas för att direkt föreslå ett lämpligt tak för summan pengar en individ får låna. Maskininlärning har alltså två olika sätt att generera resultat, antingen som ett set av kontinuerliga värden eller som en klassificering av värden. Oavsett typen av problem kan maskininlärning ses som en form av funktionsapproximering, där ett set av inputvariabler används för att beräkna ett rimligt utfall. Eftersom maskininlärning innebär att algoritmer lär sig av data så är både data och hanteringen av denna ytterst viktig. Principen “garbage in, garbage out” är därför mycket relevant inom området, då algoritmer som ges opassande eller motsägelsefulla data kommer resultera i modeller som genererar värdelösa förutsägelser (Geiger et al., 2019). Data av hög kvalitet är emellertid inte det enda kravet för att bygga en fungerande modell, då misstag kan göras vid förberedelsen av data och inlärningsprocessen i sig (Marsland, 2014). För att undvika att sådana misstag byggs in i modellen finns det några aspekter som är viktiga att tänka på. Det måste först tas ett beslut gällande vilken typ av data som ska samlas in, samt hur stor denna mängd data skall vara. Detta är två faktorer som kommer ha stor påverkan på inlärningen. För att besluta om vilken typ av data som skall samlas in så krävs det att man vet vilka faktorer som påverkar det som skall modelleras. Till exempel korrelerar vädret med hur mycket energi som förbrukas i uppvärmningen av byggnader, medan dagens aktiekurs inte 12 gör det. Hur stor mängd data som ska samlas in bestäms ofta ur ett kostnadsperspektiv, då det ur modelleringssynpunkt sällan är negativt att samla in mer data. Utöver att samla in rätt data är det också viktigt att utvärdera modellen med oberoende data. Den data som modellen tränas på kallas för inlärningsdata (Marsland, 2014). Denna data är endast exempel på olika typer av input från det område som modellen förväntas göra förutsägelser på. Inlärningsdata kan å andra sidan omöjligtvis vara en komplett representation av verkligheten, eftersom det då inte funnits ett behov av generaliserad kunskap, vilket innebär att ingen maskininlärning är nödvändig. Om inlärningsdata inte är representativ för den data som modellen kommer stöta på vid användning, kan det resultera i en vinklad modell. Det existerar även ett allvarligare problem, överanpassning. Detta problem kan uppstå vid inlärningsprocessen och grundar sig i att antalet gånger som algoritmen måste granska datasetet och ändra sina parametrar för att en användningsbar modell ska skapas ofta är svårt att bestämma. Utöver detta så är data sällan en ren representation av det underliggande mönstret algoritmen avser att hitta, utan innehåller oftast ytterligare variationer, kallat orelaterat oljud. Att separera underliggande data från oljud är svårt för en inlärningsalgoritm, då den endast ser datapunkter. En algoritm som tränas för mycket kan alltså basera förutsägelser på detta oljud. Enkelt uttryckt kan en modell övertränas, vilket leder till att modellen, på grund av oljudet, producerar output som är orelaterad till input. 3.1.1.1 Modeller för maskininlärning Nedan presenteras två olika typer av modeller för maskininlärning. De är på inget sätt representativa för området som helhet utan ämnar endast påvisa att det finns flera metoder för att skapa en självlärd AI, med olika för- och nackdelar. 3.1.1.1.1 Neurala nätverk Termen neurala nätverk kommer ifrån försök att efterlikna och skapa matematiska representationer för hantering av information i biologiska system (Bishop, 2006). Neurala nätverk är i grund och botten grafer bestående av noder och kanaler mellan dessa (Jordan, 2014). Dessa noder kallar för neuroner. De fungerar genom att ta ett eller flera input värden och använda dessa för att returnera ett värde mellan 0 och 1. Dessa neuroner kan sedan användas för att bygga upp ett neuralt nätverk. Ett neuralt nätverk består av tre lager, input, hidden och output, se figur 2. Input- och outputlagren är relativt självförklarande och att ett 13 lager är gömt betyder egentligen att det varken innehåller input eller output. Värt att tillägga är att det inte finns någon bestämd mängd neuroner i varje lager (Nielsen, 2019). Figur 2: Figuren illustrerar ett neuralt nätverks uppbyggnad (Nielsen, 2019). För att exemplifiera ett neuralt nätverk skapas en modell som kan bestämma om en handskriven siffra är en nia eller inte (Nielsen, 2019). Låt säga att modellen matas med en 64x64 bild i gråskala då skulle inputlagret bestå av 64x64 = 4096 neuroner, en för varje pixel. Output-lagret skulle då endast ha en neuron som returnerar ett värde större än 0,5 om bilden föreställer en nia och mindre än 0,5 om inte. Att designa hidden layer är däremot inte lika enkelt och det saknas enkla regler och riktlinjer för hur det ska gå till. Ett neuralt nätverk har förmågan att lära sig icke-linjära komplexa förhållanden (Mahanta, 2017). Denna förmåga är ytterst viktig för en AI att inneha då många verkliga relationer mellan input och output är icke-linjära såväl som komplexa. Ytterligare en fördel med neurala nätverk är att de har förmågan att generalisera. När ett neuralt nätverk har lärt sig från de första inputvariablerna och förstått relationerna mellan dessa så kan den antyda samband mellan osedda data. Detta tillåter modellen att generalisera och generera förutsägelser på tidigare osedda data. Till skillnad från många andra metoder för förutsägelse så ställer ett neuralt nätverk inga krav på inputvariablerna, till exempel hanterar de data med hög volatilitet och icke-konstant varians bättre än andra modeller. 14 En av de största nackdelarna med neurala nätverk är att modellen ofta tenderar att bli en svart låda utan insyn för användaren (Mahanta, 2017). Utvecklaren av modellen ställer upp den data som nätverket ska tränas på och låter sedan den själv bestämma vilka variabler som är viktigast. Det är därmed svårt att redogöra för vilka variabler som väger tyngst i en viss output. En annan nackdel med neurala nätverk är att de löper stor risk att övertränas. Detta kan dock förhindras genom att bättre hantera och validera data och modell. Neurala nätverk har idag flertalet användningsområden, däribland analys av tal, objektigenkänning, ansiktsigenkänning och analys av handskriven text (Mahanta, 2017). Neurala nätverk kan även användas till dataklassificering och mönsterigenkänning. 3.1.1.1.2 Bayesiska nätverk Ytterligare en modell för maskininlärning är grafiska modeller, mer kända som bayesiska nätverk. Dessa nätverk är så kallade riktade acykliska grafer (directed acyclic graphs eller DAGs). Varje nod i detta nätverk representerar de variabler som är intressanta, och länkarna mellan noderna representerar den kausala påverkan, eller det orsaksförhållande, en variabel har på en annan (Pearl, 2014). Skillnaden mellan de flesta andra modellers sätt att representera kunskap och bayesiska nätverk, är att bayesiska nätverk modellerar miljön snarare än resoneringsprocessen (Pearl 2014). Faktumet att det är kausala mekanismer i miljön som modelleras gör att det är möjligt att ställa olika typer av frågor, såsom associativa frågor: “Givet A vad kan vi förvänta oss av B?”, abduktiva frågor: “Vilken är den mest rimliga förklaringen för ett givet set av observationer?” och kontrollfrågor: “Vad händer om vi agerar på omgivningen?”. Associativa frågor besvaras med probabilistisk kunskap om modellen, medan de två andra frågornas svar bygger på den kausala kunskapen som existerar inom nätverket. Både associativ och kausal information kan effektivt representeras i ett bayesiskt nätverk. Den associativa aspekten hos bayesiska nätverk gör att de lämpar sig för kognitiva uppgifter, såsom objektigenkänning, läsförståelse och temporal projektion (Pearl, 2014). Temporal projektion innebär att med utgångspunkt i ett initialt tillstånd och en eller flera händelser som inträffar så resoneras utifrån tillståndet som följer av händelserna. Ett exempel på detta är att 15 Lisa går in i köket, vilket följs av att diskhon svämmar över och att katten äter all mat. Att analysera sambanden mellan dessa händelser involverar temporal projektion (Mueller, 2015). Bayesiska nätverks mest distinkta egenskap är deras förmåga att representera och agera på ändrade konfigurationer (Pearl, 2014). Det är relativt enkelt att ändra på ett nätverks topologi och denna flexibilitet tillåter modellen att hantera olika situationer utan att tränas om. 3.2 Existerande juridiska tillämpningar av AI Det finns redan idag ett flertal exempel på hur AI har implementerats, både inom domstolsväsendet och andra myndighetsfunktioner. I detta kapitel kommer några av systemen att beskrivas och deras respektive mottagande i samhället att presenteras. 3.2.1 Trelleborgsmodellen I Trelleborgs kommun är ansökningsprocessen för försörjningsstöd sedan 2015 digitaliserad (Svensson & Larsson, 2017). Enligt kommunen har denna modell effektiviserat hanteringen av ärenden avsevärd. Innan implementeringen kunde handläggningstiden uppgå till 20 dagar, medan ett ärende i dagsläget, i bästa fall, kan avklaras på under ett dygn. Trelleborgsmodellen använder sig av RPA-algoritmer (Svensson, 2019), dessa ingår i vad som i rapporten benämns som upplärda algoritmer. RPA arbetar utifrån en rad av fördefinierade regler och algoritmer, vilket är fördelaktigt när ett enkelt, repetitivt arbete ska utföras. I Trelleborgsmodellens fall tar roboten alltså bara beslut utefter de regler som har satts upp. På samma sätt kan inte systemet hantera ett undantag från de regler som har satts upp. I ett sådant fall måste beslutet tas av en människa. Det är emellertid inte bara i Trelleborg som denna modell för försörjningsstöd används. Enligt Knutas & Bergström (2018) bedriver 14 kommuner sedan 2017 ett projekt där de jobbar för att ta fram varianter av Trelleborgsmodellen till sina egna verksamheter. Detta har dock mötts med starkt motstånd från socialarbetare i vissa av de berörda kommunerna. I Kungsbacka kommun, som är en av de kommunerna där en modell liknande den i Trelleborg utvecklades, sade 12 av de 16 handläggare upp sig som ett resultat av kommunens tilltänkta implementering. Missnöjet med att automatisera vissa av socialtjänstens funktioner återfinns 16 även i en studie av Gabriella Scaramuzzino (2019). Här har medlemmar i Akademikerförbundet SSR tillfrågats om deras åsikter kring automatisering av socialt arbete. Bland de tillfrågade svarar 86 procent att de instämmer mycket eller ganska mycket på påståendet “En robot eller programvara kan inte skapa sig en helhetssyn på en individs eller en familjs situation”. I samma studie svarar 81,9 procent av de tillfrågade att de instämmer mycket eller ganska mycket på påståendet “Automatisering hindrar att sociala problem fångas upp (t.ex. missbruk och barn som far illa)”. 3.2.2 Brottsförutspående programvaror Det finns även algoritmer vars syfte är att förutspå framtida brottslighet, där två av de mest kända inom området är COMPAS och SyRI. COMPAS, eller Correctional Offender Management Profiling for Alternative Sanctions, är ett system som skapades av mjukvaruföretaget Northpointe redan år 1998 (MacMillen, 2019). Syftet med COMPAS är att ge en bedömning av risken för att en frigiven brottsling inom två år kommer att begå ytterligare brott. COMPAS tar vid en bedömning 137 olika faktorer i beaktning, däribland den aktuella personens tidigare brottsregister. COMPAS används till exempel under förundersökningar eller vid beslut om villkorlig frigivning. De som förespråkar detta system menar att det kan göra analyser kring återfallsrisker mer korrekta och mer opartiska än vad en människa skulle kunna göra. Detta är emellertid omtvistat. I en studie av Julia Dressel och Hani Farid (2018) ifrågasätts hur bra bedömningarna som COMPAS utför egentligen är. I studien fick 462 slumpvis valda testpersoner ta del av information om ett antal förbrytare, däribland dess kön, ålder och tidigare brottsregister. Testpersonerna fick dock inte reda på förbrytarens etnicitet. Dessa testpersoner fick sedan avgöra om de trodde att den förbrytare som analyserades hade begått brott igen inom två år från den tidpunkt som de blev frisläppta. Testpersonerna lyckades i 67 procent i fallen svara rätt på om huruvida förbrytaren hade återfallit i brott eller inte. Motsvarande siffra för COMPAS för samma förbrytare var 65 procent. Ett annat problem som har framhävts med COMPAS är dess etniska partiskhet. I en artikel av Julia Angwin et.al. (2016) visas på hur COMPAS gör helt olika riskbedömningar beroende på vilken etnicitet förbrytaren har. Exempelvis jämförs en mörkhyad 18-årig flicka, som tillsammans med en kompis hade stulit en cykel, med en vit 41-årig man som hade stulit verktyg till ett värde av 86 dollar från en närliggande byggvaruhandel. Även om flickan var 17 rapporterad för förseelser som minderårig så var det mannen som hade det grövre brottsregistret av de båda, då han tidigare bland annat hade avtjänat ett femårigt fängelsestraff för väpnat rån och försök till väpnat rån. Trots skillnaderna i deras tidigare brottsregister så var det flickan som fick den högsta återfallsrisken, en åtta på en tiogradig skala, vilket kan jämföras med mannen, som blev klassad som en trea på samma skala. Två år efter att bedömningen utförts på dem båda, hade flickan inte blivit åtalad för några fler brott, medan mannen avtjänade ett åttaårigt fängelsestraff efter att ha utfört en grov stöld mot en elektronikbutik. Enligt Angwin et al. (2016) är detta heller inte det enda fallet där COMPAS har gjort olika bedömningar utifrån människors etnicitet, vilka senare har visat sig vara felaktiga. De menar att i 44,9 procent av de fall där en afroamerikan har bedömts ha en hög risk har inget återfall skett. Bland vita amerikaner med samma riskklassificering var motsvarande siffra 23,5 procent. Dessutom återfaller endast 28 procent av de afroamerikaner som har bedömts ha en låg risk för återfall, medan det bland vita amerikaner med samma riskklassificering var 47,7 procent som begick ytterligare brott. Det finns emellertid kritik mot artikeln publicerad i ProPublica. Northpointe, företaget bakom COMPAS, hävdar att det finns signifikanta fel i artikeln (Dietrich, Mendoza & Brennan, 2016). Northpointe anser att det i artikeln har fokuserats på statistik som inte har tagit hänsyn till grundnivåerna för återfall bland afroamerikaner och vita amerikaner. De påstår vidare att när korrekt statistik har använts finns det inga tecken på att COMPAS gör några felaktiga bedömningar utifrån människors etnicitet. Northpointe får uppbackning av tankesmedjan Community Resources for Justice, vilka i en rapport riktar kritik mot artikeln i ProPublica (Flores, Lowenkamp & Bechtel, 2016). I rapporten skriver författarna att analysen i ProPublica-artikeln inte följer de accepterade standarder som finns för att testa partiskhet i riskutvärderingar, samt att artikeln endast inkluderade åtalade som ännu inte hade blivit prövade i en rättegång, trots att detta inte var syftet med COMPAS. I Nederländerna fanns fram till nyligen ett system som liknade COMPAS. Systemet gick under namnet System Risk Indication, eller SyRI, och var ett system som användes för att hitta personer som ansågs ligga i riskzonen för att begå bidragsbedrägeri (Osborne, 2020). SyRI sammanställde typiska egenskaper från personer som tidigare hade begått brott av 18 denna typ. SyRI använde sedan denna uppsättning av egenskaper för att leta efter andra individer som potentiellt skulle kunnat begå liknande brott. SyRI avskaffades dock år 2020, efter att en nederländsk domstol kommit fram till att systemet stred mot EU:s regler kring personlig integritet (Dutchnews.nl, 2020). Det finns även kritiker som menar att SyRI ledde till diskriminering. En av dessa är FN:s expert inom mänskliga rättigheter Philip Alston, som menar att SyRI kan diskriminera de allra fattigaste (United Nations Humans Rights, 2019). Han hävdar att en bidragande orsak till detta är den bristande transparensen i systemet, samt en avsaknad av debatt och nyhetsbevakning innan introduktionen av systemet. 3.3 AI och etik Användning av AI i offentlig sektor ställer höga krav på systematisk hantering av etiska överväganden (Myndigheten för digital förvaltning, 2020). I avsnittet nedan presenteras olika riktlinjer som tagits fram av råd och kommissioner, med fokus på etisk implementering och användning av AI. 3.3.1 Algoritmisk rättvisa och bias Artificiell intelligens har redan implementerats inom flertalet olika områden, däribland inom områden som kan påverka en människas liv i stor grad, exempelvis COMPAS och Trelleborgsmodellen. Det har bidragit till ett ökat fokus på områden som rättvisa och bias inom AI. Det finns ett flertal olika definitioner av rättvisa, varav ett antal kommer att presenteras i kommande avsnitt. Corbett-Davies, Pierson, Feller, Goel och Huq (2017) nämner tre populära definitioner av algoritmisk rättvisa, där grupperna syftar till den gruppindelning som blir utifrån känsliga attribut: ● Statistisk paritet: En lika stor andel ur grupperna får lika utfall. ● Villkorad statistisk paritet: Om ett eller flera villkor är uppfyllda så får en lika stor andel ur grupperna lika utfall. ● Prediktiv jämlikhet: Träffsäkerheten i utfallet är lika i de båda grupperna, mätt genom andelen falsk positiv. 19 Som exempel kan COMPAS användas för att besluta om en misstänkt ska bli kvarhållen eller frisläppt i väntan på rättegång. Används exempelvis etnicitet som gruppindelning så innebär statistisk paritet att en lika stor andel av de ljushyade som av de mörkhyade hålls kvar. Villkorad statistisk paritet innebär att av alla som har samma antal fällande domar sedan tidigare så hålls en lika stor andel ur båda grupper kvar. I fallet med prediktiv jämlikhet är det istället andelen av de som inte hade begått ett grovt brott om de hade frisläppts, men som ändå kvarhölls, som ska vara lika. Corbett-Davies och Goel (2018) nämner tre liknande definitioner för rättvisa: ● Anti-klassificering: Vid beslut tas inte hänsyn till de känsliga attributen och inte heller till de attribut som kan användas för att identifiera grupper utan att känsliga attribut används. ● Klassificeringsparitet: Liknande prestanda i de olika grupperna, mätt i exempelvis falska positiva. ● Kalibrering: Utfallet är oberoende av känsliga attribut, lika stor andel ur båda grupperna utifrån exempelvis riskpoäng. De skriver vidare att dessa definitioner lider av begränsningar och att de i vissa fall har en negativ inverkan på rättvisan. Som exempel nämner de att kvinnor har en lägre återfallsrisk än män och om inte hänsyn tas till kön i riskbedömningen så kan det leda till hårdare åtgärder mot kvinnor. Klassificeringsparitet kan leda till att undergrupper klassificeras felaktigt för att uppnå liknande prestanda inom grupperna. Även EU:s expertgrupp för artificiell intelligens (2019) nämner att det finns många definitioner av rättvisa och att de anser att det finns både en materiell och en processuell dimension. Den materiella aspekten berör både fördelningen av fördelar och kostnader, samt tillgång till utbildning, samhällsservice, teknik, etcetera. Grupper och individer ska inte heller vara utsatta för diskriminering och stigmatisering. Den processuella dimensionen syftar till möjligheten att kunna utmana beslut tagna av AI och de personer som hanterar AI:n och för att kunna göra det är det viktigt att kunna identifiera de ansvariga samt ha en hög förklarbarhet. 20 Bias är ett begrepp som det diskuteras mycket kring när det kommer till rättvisa. Begreppet saknar dock en bra svensk översättning, därav används det engelska ordet genomgående i rapporten. Bias innebär enligt Cambridge Dictionary att något eller någon motsätter sig eller stödjer en särskild person eller sak på ett orättvist sätt, på grund av personliga åsikter som påverkar omdömet (Bias, u.å.). Det finns ett antal exempel på fall där bias, utan intention från utvecklare, har givit oönskade resultat. Ett exempel är fallet där Googles algoritm för bildigenkänning klassificerade mörkhyade personer som gorillor och där lösningen blev att de helt enkelt tog bort gorilla ur algoritmen (Wired, 2018). Ett annat exempel är det tidigare nämnda COMPAS, där det visat sig att mörkhyade personer bedöms löpa högre risk för återfall än ljushyade personer (Angwin et al., 2016). Baer (2019) beskriver hur bias kan uppstå på flera olika sätt och hur dessa sätt kan vara mer eller mindre svårhanterliga. Enligt honom är det mest svårhanterliga fallet det fall då algoritmen avspeglar samhällsbias, då det kan framstå som korrekt i samhällets ögon. Här kan bias i mänskligt beslutstagande vara en stor faktor och som exempel nämns hur polisens agerande kan påverka data som används för att ta fram en algoritm för att identifiera droginnehav. Har polisen en tro att en grupp oftare har droger på sig så riskerar det att leda till att de är mer noggranna vid visitationer och att de på så sätt oftare finner droger. När sedan den data används för att skapa algoritmen kan det leda till att attribut kopplade till den gruppen får en ökad vikt. Vidare skriver Baer (2019) om bias introducerad av utvecklaren av algoritmen, här nämns tre olika varianter: ● Bekräftelse-bias: Utvecklarens egen bias reflekteras i modellen, detta kan påverka både skapandet av modellen och insamlandet av data. ● Ego-utarmning: Utvecklaren missar möjligheten att undvika bias på grund av distraktion/mental trötthet. 21 ● Överdrivet självförtroende: Utvecklaren ignorerar indikationer på att modellen kan innehålla bias. När det kommer till bias i data som används för algoritmen så kan det införas bias vid olika steg i dataprocessen: ● Datakällan kan bidra till bias. ● Bias kan uppstå vid användning av data i utveckling av modeller. Enligt Baer (2019) finns även en risk för stabilitetsbias för en algoritm, vilket syftar till att en algoritm är framtagen med hjälp av historiska data och det kan därför leda till att algoritmen inte längre är relevant om omvärlden förändras strukturellt. Stabilitetsbias kan även uppstå om data som använts inte har samlats in under tillräckligt lång tid och inte täcker en hel cykel till exempel. Slutligen skriver Baer (2019) om bias som algoritmen själv introducerar. Det kan exempelvis bero på låg frekvens av ovanliga tillstånd och som därmed slås ihop med andra grupper och därmed kan beteenden från dessa grupper avspegla sig på det ovanliga tillståndet. 3.3.2 Befintliga riktlinjer för AI European Commission for the Efficiency of Justice, CEPEJ (2018), skriver i sina stadgar om fem huvudsakliga principer för användning av AI inom det juridiska väsendet. Den första berör respekt för fundamentala rättigheter, och avser att bearbetning av data och beslut måste ha ett tydligt syfte, samt följa grundläggande mänskliga rättigheter. Utöver detta måste också säkerställas att allas möjlighet till en rättsprocess, som dessutom ska vara rättvis, inte undermineras då ett AI-verktyg stödjer eller självt tar juridiska beslut. Att föredra är därför verktyg där designen förhindrar att de mänskliga rättigheterna och andra etiska grundprinciper bryts. CEPEJ:s (2018) andra princip finns för att hindra förekomst och/eller intensifiering av diskriminering, exempelvis bearbetning av uppgifter som kan vara av känslig natur, vilka inkluderar bland annat information om etnisk och socioekonomisk bakgrund, kön och 22 politiska åsikter. Den tredje behandlar bearbetningsprocessens kvalitet och säkerhet, vilket innefattar att algoritmer lagras och körs i miljöer som garanterar att systemet har önskad integritet och abstraktion. Data som hämtats från historiska juridiska beslut bör endast komma från certifierade källor och ska inte modifieras innan dess att de har använts av inlärningsmaskiner. Nästa princip rör opartiskhet, transparens och rättvisa, att säkerställa en godtagbar grad av förståelse och tillgänglighet. Detta kan ske genom användande ett tekniskt sett helt transparent system, som till exempel använder öppen källkod, men finns det risk att känslig information hamnar i oönskade händer. Alternativet är ett system där resultaten förklaras tydligt med allmän information om hur tjänsterna och verktygen fungerar, samt möjliga felorsaker. Den sista principen åsyftar att användare ska vara informerade nog för att vara i kontroll över plattformen, att användarens autonomi ökas snarare än begränsas när AI:n nyttjas. Det ska finnas tydlig information tillgänglig om huruvida ett domstolsfall har processats av en AI innan eller under en juridisk process, och användaren ska kunna invända mot AI:ns utfall. Utöver dessa finns etiska riktlinjer för mer generell användning av AI framtagna av EU:s High Level Expert Group on Artificial Intelligence (2019). Där nämns 3 egenskaper som gör en AI trovärdig, den ska följa alla lagar som kan appliceras, den ska följa befintliga etiska principer och värderingar och den ska vara tekniskt och socialt robust för att undvika förekomst av oavsiktlig skada. Var och en av dessa tre egenskaper är nödvändig, och för att en AI ska betraktas som trovärdig behöver samtliga finnas. I syfte att säkerställa förekomsten av dessa egenskaper har AIHLEG (2019) i sina riktlinjer också tagit fram sju krav som ställs på AI som utvecklas. ● Mänskligt agentskap och mänsklig tillsyn: Systemet som implementeras bör stödja människans autonomi och beslutsfattande. Då krävs att det möjliggör ett demokratiskt och jämlikt samhälle genom att stödja mänskliga rättigheter. ● Teknisk robusthet och säkerhet: AI-system måste vara säkra och motståndskraftiga. De måste innehålla en reservplan ifall något går fel, samt vara pålitlig, reproducerbar och noggrann. Detta kan potentiellt minimera och förebygga oavsiktlig skada. 23 ● Integritet och dataförvaltning: Ett AI-system måste genom hela sin livscykel garantera att känsliga uppgifter skyddas och att integritet säkerställs. Dessutom får de dataset som systemet tränas på inte innehålla någon oönskad bias. ● Transparens: Vid en implementering av en AI måste det finnas transparens i både data, systemet och affärsmodellerna. Det är också viktigt att det finns en förklarbarhet i AI-systemet. ● Mångfald, icke-diskriminering och rättvisa: Det är viktigt att möjliggöra inkludering och mångfald under AI-systemets hela livscykel och lika tillträde genom inkluderande utformningsprocesser och likabehandling. ● Samhällets och miljöns välbefinnande: Hållbarhet och ekologiskt ansvarstagande i AI-system och forskning om AI-lösningar som rör globala frågor skall uppmuntras. AI bör användas till nytta för samtliga människor, både nuvarande och kommande generationer. ● Ansvarsskyldighet: Det behövs mekanismer för att säkerställa ansvarstagande och ansvarsskyldighet för AI-system och deras resultat. 3.4 FN:s globala hållbarhetsmål Ur ett etik- och hållbarhetsperspektiv har ett antal av FN:s (2015) 17 globala hållbarhetsmål identifierats, vilka i någon mån kan appliceras på studien. Dessa mål är: ● 5: Jämställdhet ● 8: Anständiga arbetsvillkor och ekonomisk tillväxt ● 10: Minskad ojämlikhet ● 16: Fredliga och inkluderande samhällen ● 17: Genomförande och globalt partnerskap Mål nummer fem berör jämställdhet mellan kvinnor och män. FN (2015) definierar jämställdhet som en rättvis fördelning av makt, inflytande och resurser. Att leva ett liv fritt från våld och diskriminering är enligt FN en grundläggande rättighet som är nödvändig för att ett samhälle ska nå sin fulla potential. 24 Anständiga arbetsvillkor och ekonomisk tillväxt är FN:s (2015) åttonde globala mål och verkar för att uppnå en varaktig, inkluderande och hållbar ekonomiskt tillväxt samt anständiga arbetsvillkor för en produktiv sysselsättning. Delmål 8.3, främja ekonomisk produktivitet genom diversifiering teknisk innovation och uppgradering, uppnås genom att med hjälp av bland annat ny teknik uppnå en mer produktiv ekonomi. FN:s (2015) tionde mål, minskad ojämlikhet bygger principen om allas lika rättigheter oberoende av faktorer såsom kön, etnicitet och religion. Att öka jämlikheten i ett samhälle minskar risken för konflikter och främjar människors förmåga att delta i samhällsutvecklingen. Det 16:e hållbarhetsmålet som FN (2015) har tagit fram, fredliga och inkluderande samhällen innefattar bland annat att alla människor är lika inför lagen och ska ha samma tillgång till rättvisa. Att främja rättssäkerhet och tillgången till rättvisa är delmål 16.3 och syftar på att förbättra dessa två faktorer både nationellt och internationellt. Det sista målet, nummer 17, heter genomförande och globalt partnerskap. FN (2015) menar att internationella investeringar och samordnad politik krävs för en nyskapande teknisk utveckling. Att utbyten av kunskap, expertis, teknik samt finansiella resurser sker är nödvändigt för att målet ska uppnås. Delmål 17.6 berör att samarbeta och dela kunskap kring vetenskap, teknik och innovation syftar att säkerställa kunskapsutbyten mellan länder. 25 4. Resultat och analys I detta kapitel presenteras resultatet från intervjustudien. Respondenternas svar och den diskussion som förts under intervjuerna har delats in teman för att få en tydlig struktur och bra överblick. Dessutom har respondenterna subjektivt delats in i någon av kategorierna juridik eller AI utifrån deras utbildning, yrkesbakgrund och nuvarande befattning. I tabell 3 presenteras kodningen av studiens teman. Tabell 3: Presentation av avsnittets uppdelning, fördelat på två nivåer. Huvudtema Undertema Positiva implikationer Kostnader och effektiviseringar Domstolarnas kvalitet och enhetlighet Risker och begränsningar Transparens och förklarbarhet Bias och representativa data Kunskap och kompetens Tillit och legitimitet Tröghet inom det juridiska väsendet Kritik mot befintliga system Implementeringsaspekter Användningsområden Placering och fördelning av ansvarsbördan Prestandakrav på AI Möjlighet till överklagan Metodik för implementering och lämpliga metoder 26 Respondenternas inställning 4.1 Positiva implikationer I denna kategori presenteras de teman som lyfter de positiva implikationerna av att implementera AI i svenska domstolar. Tabell 4: I tabellen presenteras exempelcitat från området Positiva implikationer. Tema Exempelcitat Kostnader och effektiviseringar "Det finns ju mycket uppgifter som vi gör som är kanske lite mer rutinartade som handlar om att söka igenom stora mängder information, få fram rätt information och strukturera det på ett bra sätt. Det kan ju en maskin göra betydligt snabbare.” - Johan Sanner Domstolarnas kvalitet och enhetlighet “Vid användning är de stora möjligheterna såklart att man kan få bättre och mer korrekta och likriktade domar.” - Karl de Fine Licht 4.1.1 Kostnader och effektiviseringar I följande tema redogörs för vilka möjligheter respondenterna ser i form av minskade kostnader och effektivisering med hjälp av AI. 4.1.1.1 Juridik En majoritet av juridikrespondenterna menar att effektivisering och kostnadsbesparing är två av de största fördelarna med att implementera AI i Sveriges domstolar. Detta kan exempelvis ske genom en delvis automatiserad domstol där monotona arbetsuppgifter sköts av en dator. 27 Exakt vilka dessa arbetsuppgifter skulle kunna vara saknar konsensus, men ett par relativt okontroversiella exempel är arkivering och datainsamling. "Det finns ju mycket uppgifter som vi gör som är kanske lite mer rutinartade, som handlar om att söka igenom stora mängder information, få fram rätt information och strukturera det på ett bra sätt. Det kan ju en maskin göra betydligt snabbare.” - Johan Sanner Att en AI kan hantera stora mängder data och bearbeta den snabbare än en människa är ytterligare en fördel som några respondenter har lyft. En dator behöver heller inte vila utan kan bearbeta data dygnet runt. “De uppenbara är väl att AI inte behöver förhålla sig till arbetstider, kan processa stora mängder data.” - Markus Naarttijärvi 4.1.1.2 AI Bland AI-respondenterna är en av de mest frekvent nämnda fördelarna att det går att göra stora besparingar i den offentliga sektorn om enklare processer automatiseras. I intervjuerna belyses att dagens arbetssätt i den offentliga sektorn är långsiktigt ohållbart och att effektiviseringen som implementeringen av AI skulle innebära i framtiden är ett måste. Denna automatisering leder till att resurser istället kan flyttas till mer komplexa och krävande arbetsuppgifter. “DIGG, Digitaliseringsmyndigheten, de gjorde en rapport precis innan jul där de kom fram till att offentlig sektor skulle kunna spara 140 miljarder på att använda AI i offentlig sektor och det var ändå bara ‘vad är det man gör idag som skulle kunna, ja, automatiseras eller underlättas på olika sätt’. Så att självklart ser jag extremt stora möjligheter. [...] Offentlig sektor har inget rent val, eller snarare om man inte drar nytta av den här tekniken så kommer det att bli ännu värre...” - Fredrik Heintz 28 4.1.2 Domstolarnas kvalitet och enhetlighet I detta tema lyfts respondenternas åsikter kring AI:s möjligheter att förbättra de svenska domstolarnas kvalitet och enhetlighet. 4.1.2.1 Juridik Flertalet av juridikrespondenterna nämner att AI kan bidra till ett mer enhetligt dömande och en höjd kvalité inom domstolarna. En AI skulle dessutom kunna bidra med flera olika typer av stöd i en rättssal, exempelvis i form av dokumentgranskning eller översättning. Detta skulle i sin tur kunna leda till att Sveriges domstolar får ett högre förtroende. Ytterligare en fördel, lyft av John Lagström, är att domstolar skulle med hjälp av AI kunna bli mer tillgängliga och att rättssäkerheten på så sätt skulle förbättras. “De stora fördelarna som jag ser är att vi kan höja kvaliteten inom olika delar av rättsväsendet, avsevärt. Till exempel när det kommer till tolkning så har vi möjligheten att säkerställa att tolkningen alltid blir rätt och att den görs på ett jämlikt och jämställt sätt.” - John Lagström Det finns även respondenter som nämner att en AI kan användas för att kontrollera att domstolen prövat alla de sakfrågor som bör prövas. “Då kan det vara bra att veta, har jag prövat A, B, C och D? För ibland kanske man bara har prövat A, B och C. Att man då får ‘Nu har du glömt D och har du prövat A, B och C så måste du pröva underfrågorna…’.” - Anders Hagsgård Magnus Ivarsson menar å andra sidan att ett enhetlig dömande i sig inte nödvändigtvis är ett helt lämpligt kvalitetsmått samt att enhetlighet inte är uppnåbart om domarnas individuella frihet gällande bedömning ska kvarstå. “Varje domstol är en egen myndighet, och ska man hårdra det så är ju varje domare en egen myndighet. [...] Det går inte att förvänta sig en helt jämlik bedömning någonsin, eftersom alla individer som kommer till domstolen har egna unika omständigheter, och domarna som 29 dömer är unika domare. Så jag tycker att det är svårt att säga att bara därför att vissa domstolar har dömt ut mer fängelse under en period, så måste man hitta en högre standardisering.” - Magnus Ivarsson 4.1.2.2 AI Även under intervjuerna med AI-respondenterna har det lyfts fram att det är möjligt att få ett mer konsekvent och rättvist dömande genom att implementera AI inom domstolsväsendet. Med hjälp av en AI finns det potential att få en högre kvalitet i domarna, i och med att domarna underbyggs bättre. “Vid användning är de stora möjligheterna såklart att man kan få bättre och mer korrekta och likriktade domar.” - Karl de Fine Licht “Fördelar: Effektivare och mer konsekventa beslut.” - Jacob Dexe 4.2 Risker och begränsningar I följande kategori lyfts de teman som påvisar de risker och begränsningar som följer av att introducera och nyttja AI inom det svenska domstolsväsendet. Tabell 5: I tabellen redovisas exempelcitat från området Risker och begränsningar. Tema Exempelcitat Transparens och förklarbarhet “Being too transparent actually doesn't help. If I give you ten thousand lines of code and say, ‘this is the program’, it would not really help you. You want something that is suited for your background and for your purpose.” - Frank Dignum 30 Bias och representativa data “Det kommer finnas spår av konstiga mänskliga fördomar, begränsningar, kognitiva förmågor i datat, som vi inte kan sätta fingret på när vi tittar på datat, men som kommer spela ut när en AI identifierar trender i datat. Sådana spår kommer finnas med där på något sätt.” - Jacob Dexe Kunskap och kompetens “...Man är fortfarande lite rädd och man är fortfarande lite skeptisk och har inte alltid kompetensen som kanske krävs, för att kunna använda den till fullo då.” - Josefin Rosén Tillit och legitimitet “Idag har ju den enskilda domaren ett högt förtroende i kraft av erfarenhet, utbildning och sin roll. Det är ett etos som är svårslaget. Det blir nog svårt, i alla fall i dagsläget, att låta en AI ta den rollen.” - Magnus Ivarsson Tröghet inom det juridiska väsendet “Juridiken ska vara lite trögrörlig, det ska inte gå för fort, för konsekvenserna om det blir fel är enorma. Ny lagstiftning ska ta tid och förändringar i sättet vi arbetar på måste ta tid, därför att det är en förutsägbarhetsfråga att folk inte gör på helt olika sätt. Då drabbas liksom hela rättsstaten av att det blir spretigt och konstigt och knepigt, och då funkar inte, då kommer vi tappa allt vad gäller legitimitet för juridiken… Sverige är ju ett väldigt modernitetslängtande land. Vi har en strävan efter att vara moderna och vi bygger liksom alltid vårt samhälle på framtid. Vi är inte rädda för det nya.” - Anna-Sara Lind Kritik mot befintliga system “När man använder COMPAS till exempel har man en tendens att förstärka den första magkänslan som man hade kring en person. Om du är negativt inställd till någon som kommer in, och så säger vi att den (COMPAS) ger en sjua av tio, då tenderar man att bli ännu mer säker på sin sak.” - Karl de Fine Licht 31 4.2.1 Transparens och förklarbarhet I temat lyfts respondenternas inställning kring transparens och förklarbarhet gällande en eventuell implementering av AI inom Sveriges domstolar. 4.2.1.1 Juridik En aspekt av transparens och förklarbarhet som framkommit under studien är bristen på definition av begreppet transparens. Är att lämna ut källkod och dataset att vara transparent om det saknas kunskap att tolka och förstå dessa? Samtliga tillfrågade respondenter anser att transparensproblematiken är viktig att diskutera. Ett antal av respondenterna ansåg att det krävs full transparens för att kunna implementera en AI, vilket innebär att både källkod och dataset är offentligt tillgängliga, i enlighet med offentlighetsprincipen. “Offentlighetsprincipen bör ju tillämpas på vår beslutsmekanism. Offentlighetsprincipen gäller förhandlingar till exempel, så då tycker jag samma princip ska gälla för hur besluten fattas av en AI.” - Magnus Ivarsson Vissa respondenter menar att om förklaringen är av tillräckligt hög kvalitet så är det möjligt att källkoden inte behöver vara offentlig. “Den algoritmen skulle du kunna skriva ut i domskäl och förklara att eftersom detta och detta och detta så blir det här straffet. Då får du en transparens i algoritmen genom att man skriver skälen, kanske man inte behöver lämna ut själva algoritmen i sig.” - Björn Östman I fall av en självlärd algoritm så menar Markus Naarttijärvi att det dataset som ligger till grund för inlärningen också måste vara tillgängligt för att uppnå full transparens. 32 “Jag skulle säga att det beror på hur man applicerar de här [AI] och graden av konsekvenser för den enskilde. Om man tänker sig ett system inom rättsväsendet som skulle kunna komma med domar i mål som rör grundläggande rättigheter på ett eller annat sätt. Då skulle jag säga att kraven på transparens är ganska högt ställda. Även om man skulle säga att den är på en övergripande nivå så drar den slutsatser baserat på kriterium A, B och C, så problemet är att relationen mellan de kriterierna och den data som poängsättningen av respektive kriterium bygger på är väldigt svår att illustrera. Även om den skulle säga att algoritmen har tilldelat dig de här poängen på de här olika kriterierna baserat på en statistisk analys av tidigare fall. I och med att det här är ett maskinlärande system kommer algoritmen att utvecklas för varje datapunkt man matar den med. Transparensen i systemet är beroende av all data man matat den med. En fullständig transparens, vilket vi i och för sig inte i fråga om mänskligt beslutfattande heller har, kräver då tillgång till datasetet.” - Markus Naarttijärvi John Lagström lyfter att det är möjligt att kraven på graden av transparens eventuellt kan variera i olika situationer. Det kan finnas situationer som kräver modeller med en hög grad av förklarbarhet samtidigt som det i andra fall duger med en lägre grad. Han är å andra sidan också mycket tydlig med att om Sveriges domstolar ska använda AI så ska det ske på ett fullständigt transparent sätt. “Det kan mycket väl vara så att viss information ur en datamängd där måste man ha en jättetydlig förklaring om varför det blev som det blev, annan information kanske man kan använda rekursiva neurala nätverk som är helt wide open. Jag tror inte det, men det är möjligt.” - John Lagström 4.2.1.2 AI Majoriteten av de i studien tillfrågade anser att tydliga förklaringar av algoritmens logik, samt utförliga motiveringar till de resultat som ges bör prioriteras högre ur ett transparensperspektiv än att den bakomliggande koden finns tillgänglig för alla. 33 “Being too transparent actually doesn't help. If I give you ten thousand line of codes and say, ‘this is the program’, it would not really help you. You want something that is suited for your background and for your purpose.” - Frank Dignum Frank Dignum jämför även mot hur det inom domstolarna också är centralt med en förklaring av ett beslut. “And that's actually very similar to how the court works as well, because the judge doesn't just give a judgement, they also give an explanation of how they’ve come to that judgement.” - Frank Dignum Fredrik Johansson menar också att koden inte är det viktigaste för att förklara algoritmens logik. Han konkretiserar också hur en självlärd algoritm ska kunna förklaras. “Koden säger ju väldigt lite egentligen. Hela poängen med maskininlärning är ju att lära sig från data och då är ju datamängden absolut minst lika viktig. Sen kan man ju se själva outputen från ett maskininlärningssystem som kod om man vill. Till exempel, om systemet lär sig ett beslutsträd eller en annan regelbaserad modell som säger ‘om du uppfyller de här villkoren så kommer vi förutspå att du ska begå brott igen, och därför kommer vi göra xx’. I det fallet är outputen, eller ’koden’, transparent själv.” - Fredrik Johansson Flera av respondenterna understryker också faktumet att människan inte heller är särskilt transparent och inte alltid kan motivera sina egna beslut och handlingar. “Det är ju inte så att vi människor kan förklara alla beslut. Om du pratar med en läkare som tittar på en EKG-kurva och blixtsnabbt säger vad det är, och sedan frågar ‘hur såg du det?’ så, det är ganska mycket känslor och har lärt sig väldigt avancerat, så det är inte så att vi kan göra det heller faktiskt [förklara våra beslut].” - Thomas Schön 34 Thomas Schön anser vidare att det är rimligt att vara orolig för att sakna insyn och förståelse för självlärda algoritmer. Samtidigt menar han att oron inte ska gå för långt då vi idag vet att deep learning, en typ av maskininlärning, fungerar och genererar de bästa resultaten inom till exempel bild- och musikigenkänning. Han liknar det med den tidiga användningen av differentialekvationer för att bland annat förutsäga planeternas rörelse, forskarna hade ingen aning om exakt hur ekvationerna löste problemen, endast att de gjorde det. Schön anser att hur dessa system fungerar är nödvändigt att förstå men oförståelsen ska inte hindra oss från att använda dem. “Det är rimligt att vara lite orolig, det kan jag tycka, men man ska nog inte behöva vara för orolig heller utan det utvecklas ju hela tiden. Det vi vet idag är ju att deep learning levererar de absolut bästa resultaten bildigenkänning, segmentering av bilder, igenkänning av musik och generering av musik och så vidare. Vi vet ju att det funkar, det är det inget snack om. Det är snarare så att vi måste förstå ännu mer varför det funkar.” - Thomas Schön 4.2.2 Bias och representativa data I detta tema behandlas problematiken kring bias i en AI:s inputdata och hur detta kan påverka vid uppbyggnad av en självlärd algoritm. 4.2.2.1 Juridik Flertalet respondenter har nämnt bias som ett etiskt svårt område. Bias går inte att undvika, det finns i data som speglas av historiska förhållanden. Bias finns potentiellt också hos den som utvecklar mjukvaran. “Det är sjukt svårt att komma från programmerarens egna uppfattningar och ska man vara ärlig så är det förstås sjukt svårt för en mänsklig domare att ställa sig utanför sina egna uppfattningar och kunna göra ett opartiskt dömande utifrån de förutsättningar och paragrafer som finns.” - Magnus Ivarsson 35 John Lagström lyfter också att algoritmer som bygger på dataset som innehåller bias riskerar att förstärka befintliga biaser. “Det finns ju en massa bra exempel där man använder algoritmer för beslutsfattande som innebär att du bara förstärker det datat som algoritmen har att tillgå från början, så kallade självförstärkande algoritmer och det får man ju vara väldigt försiktig med.” - John Lagström Andrea Lindblom understryker att bias inte är något unikt för maskinella system, utan det förekommer även vid mänsklig bedömning. “Det som det ofta pratas om är den här rädslan att AI ska ha olika bias. Det som dock ofta missas i diskussionen är att detsamma gäller för människor i allra högsta grad.” - Andrea Lindblom Markus Naarttijärvi lyfter även flera aspekter av självlärda algoritmer som han anser är viktiga gällande transparens. “Problemet är ju att man bygger sina förutsägelser om framtiden på existerande data som inte nödvändigtvis är representativ för verkligheten, men framförallt är det historiskt data som inte nödvändigtvis är representativ för den framtida utvecklingen. Det tredje är att man bygger de här förutsägelserna på data från en populationsnivå eller en ganska stor grupp men sedan applicerar den på en individnivå, och den typen av kopplingar från populationsdata till en individ är väldigt svåra att göra.” - Markus Naarttijärvi 4.2.2.2 AI Vad som också återkommer i intervjuerna med AI-respondenterna är att det finns en problematik kring representativiteten i systemets inputdata. Detta innebär att all inputdata som finns tillgänglig inte nödvändigtvis anses vara lämplig att använda, då den till exempel kan innehålla bias som inte anses vara lämplig i ett dataunderlag. 36 “...däremot så är den andra utmaningen mycket större, det vill säga att när världen inte är som vi vill att den ska vara, det vill säga till exempel det här med lönediskriminering, att män och kvinnor får olika lön för samma jobb och att de yrken där det är övervägande kvinnor har lägre löner än de yrken där det är övervägande män. [...] Utmaningen där blir ju då vem som ska bestämma hur datan ska se ut, och då måste någon göra ett normativt ställningstagande och säga att “Nej, så här ska den se ut”, och sen måste du tvinga världen på sätt och vis att bete sig som man önskar att den gjorde.” - Fredrik Heintz Samtidigt menar Fredrik Heintz att det också kan finnas ett värde i att ha data med en inbyggd bias, eftersom medvetna bias ligger till grund för vissa urval, exempelvis i antagningsprocessen till universitet. “Vi har ju massa bias som vi vill ha. Ta det här med antagning till universitet eller till gymnasieskolan till exempel. Det bygger ju på att vi har en, diskriminering kanske är fel ord men, liksom ett urval baserat på till exempel betyg. Då har vi föreställningen att det är tillräckligt korrekt och unbiased eller vad man ska säga. Så vi gör ju massa urval hela tiden. [...] Om det skulle vara helt unbiased då skulle det ju vara helt slumpmässigt, det vill säga att då finns det ingen struktur och absolut inget värde i datan. Det är ju strukturen du vill komma åt, det är signalen i bruset du vill komma åt.” - Fredrik Heintz Det har under intervjuerna även framkommit att det är viktigt att ha en stor mängd inputdata för att få en AI att ge det utfall som är önskat. Detta kan speciellt bli ett problem i mer ovanliga brottsfall, där det inte finns speciellt många tidigare fall att gå på, eller då många existerande fall plockas bort då de anses ha ett icke-önskvärt bias. Den vanligast diskuterade etiska frågan bland respondenterna är bias. Dataset som används för att skapa och lära en algoritm kantas av mänskliga värderingar, historiska domar grundas på beslut som mänskliga domare har tagit och utvecklarens vilja kan vara av stor betydelse vid framtagning av algoritmen. 37 “Det kommer finnas spår av konstiga mänskliga fördomar, begränsningar, kognitiva förmågor i datat, som vi inte kan sätta fingret på när vi tittar på datat, men som kommer spela ut när en AI identifierar trender i datat. Sådana spår kommer finnas med där på något sätt.” - Jacob Dexe “Man bör inte låta AI-forskare bestämma vad som är etiskt, utan man vill ha en domänexpert för det. Den här typen av värderingar kommer vi inte lära oss från data, utan det är krav som vi vill bygga in i modellen, och därför måste vi ta den informationen någon annanstans ifrån.” - Fredrik Johansson En annan aspekt som diskuteras är vilka variabler som en algoritm bör undvika och vilka som bör viktas tyngre för att få en önskad output. “Man måste bestämma sig för hur man vill att utfallet ska vara om man säger så, sen måste man balansera datat därefter. [...] Baserar man det på fel variabler kan det bli orättvist bara därför att man har fel variabler med.” - Josefin Rosén “När man bygger skarpa maskinlärande modeller som till exempel neurala nätverk, i slutändan när de har fått jobba sig igenom hela nätverk så kan de definieras av miljontals parametrar, och då är det svårt att gå tillbaka och ändra och göra sig av med variabler i efterhand, för det blir sådan abstraktion allteftersom modellen byggs eller algoritmen utvecklar sig. Där är det superviktigt att man balanserat sin data, att man har koll på datat redan innan det går in i algoritmen.” - Josefin Rosén 4.2.3 Kunskap och kompetens I detta tema förmedlas respondenternas syn på både den kunskap och kompetens som finns idag gällande AI samt vilka krav som ställs kunskaps- och kompetensmässigt för att automatisera de svenska domstolarna. 38 4.2.3.1 Juridik Det har under studien även framkommit att AI som begrepp är svårtolkat och att det saknas kunskap bland många jurister. Att det saknas kunskap kan leda till att tekniken blir svårförståelig för många jurister, vilket riskerar i att resultera i att en AI inte accepteras som ett lämpligt verktyg. “Det är få som förstår vad det [AI] egentligen är och det är ett väldigt luddigt begrepp som väcker känslor. När jurister inte vet vad någonting är eller inte tycker att det är något för dem - då blir det väldigt lätt att man slår ifrån sig och säger att det där ska man inte hålla på med. Det tycker jag är fel inställning. Jag hade önskat att det fanns en större nyfikenhet och engagemang bland det offentliga men även bland jurister i stort att intressera sig i vad den här tekniken kan och bör göra för oss.” - Andrea Lindblom John Lagström lyfter risken med att kompetens tappas vid automatiseringar. Om enklare beslut automatiseras riskerar kunskapen kring dessa processer att försvinna, och om systemet skulle fallera är det inte säkert att det finns individer som besitter den kompetens som krävs för att täcka upp. Utöver denna risk så försvinner möjligheter för juniora jurister att införskaffa värdefull erfarenhet. “Anledningen till att jag tror att man kanske ändå ska en människa på slutet som kvalitetskontrollant. Det handlar om inlärningen mest, alltså kompetensöverföringen. Det är ju idag inte de allra mest erfarna domarna som sitter och tar beslut om skilsmässor om man säger så, utan de är de nya juristerna och för dem kan det vara rätt viktigt att titta på hur en bodelning går till.” - John Lagström 4.2.3.2 AI Även vissa av AI-respondenterna argumenterar för att en av anledningarna till att AI ännu inte har implementerats inom det svenska domstolsväsendet är att användarna inte har den kompetens som krävs för att använda verktygen till fullo, samtidigt som det finns en viss skepsis samt rädsla gentemot AI.