V európskom kontexte, ktorý sa vyznačuje extrémne pomalými občianskymi a trestnými konaniami, sa technológia javí takmer ako pragmatická reakcia. Automatizácia opakujúcich sa úloh, triedenie kôp spisov, označovanie nezrovnalostí alebo odkazovanie na precedensy môže sudcom skutočne poskytnúť viac času na riešenie zložitejších aspektov prípadu. Vstup umelej inteligencie do súdnej siene však vyvoláva niekoľko otázok, ktoré idú nad rámec skrátenia súdnych procesov. Hlavným problémom by bola transparentnosť.
V európskych systémoch sa spravodlivosť neobmedzuje len na konečný výsledok, ale je nevyhnutné, aby proces, ktorý k nemu vedie, bol zrozumiteľný a predovšetkým overiteľný. Mnohé systémy umelej inteligencie v skutočnosti fungujú ako „čierne skrinky“, ktoré produkujú výsledky bez toho, aby plne odrážali použité kritériá.
Konkrétnym príkladom, ktorý nám môže pomôcť pochopiť tento problém s umelou inteligenciou, je systém „SyRI“ v Holandsku. Tento algoritmus, vyvinutý holandskou vládou na odhaľovanie potenciálnych podvodov so sociálnymi dávkami, kombinuje množstvo vládnych databáz, ako sú daňové údaje, pozemkové záznamy, registrácia vozidiel a informácie o zamestnaní a príjmoch. Tieto údaje sa potom automaticky analyzovali, aby sa občanom priradila úroveň rizika. Napríklad, ak bola osoba považovaná za „rizikovú“, bola nahlásená úradom na ďalšie vyšetrovanie .
Hlavným problémom tohto mechanizmu je transparentnosť . Algoritmus nebol verejne dostupný a úrady úplne nevysvetlili, ktoré údaje boli kombinované, rizikové kritériá ani ako boli vytvorené podozrivé profily. To občanom znemožnilo napadnúť rozhodnutia systému. V roku 2020 haagsky súd vyhlásil používanie systému za nezákonné . Podľa súdu SyRI porušil právo na súkromie a dostatočne nezaručil transparentnosť v rozhodovacom procese.
Ak strany v procese nerozumejú, ako algoritmus prispel k rozhodnutiu, strácajú možnosť napadnutia. To môže napríklad viesť k riziku nepriamej diskriminácie. Algoritmy sa učia z historických údajov: ak údaje, ktoré získavajú, odrážajú sociálne nerovnosti alebo diskriminačné praktiky, ktoré sa časom vyvinuli, systém riskuje ich opakovanie.
V trestných veciach by nástroje, ktoré odhadujú pravdepodobnosť recidívy alebo navrhujú preventívne opatrenia, mohli neprimerane ovplyvniť určitých obžalovaných patriacich do určitej kategórie osôb. To by porušovalo európsku zásadu rovnosti a zákaz diskriminácie. Ďalším problémom by bola zodpovednosť. Európska právna tradícia kladie rozhodnutie na ľudský subjekt, ktorý preberá zodpovednosť a musí svoje konanie zdôvodniť.
Rada Európy si je vedomá týchto rizík a prijala etické usmernenia pre používanie umelej inteligencie v súdnych systémoch, pričom zdôrazňuje ústrednú úlohu ľudského dohľadu, nediskriminácie a predovšetkým transparentnosti.
Zároveň Európska únia schválila zákon o umelej inteligencii , ktorý klasifikuje všetky systémy používané v justícii ako vysoko rizikové a ukladá povinnosti týkajúce sa dohľadu, hodnotenia a ochrany základných práv. Technológia podľa Európskej únie môže podporiť, ale nie úplne nahradiť súdnu funkciu.
Napokon zostáva aj kultúrnejší rozmer. Rozsudok nie je len cvičením v pravdepodobnostnom výpočte. V európskych systémoch predstavuje súdny proces aj priestor na počúvanie, diskusiu a verejnú motiváciu. Zverenie tejto úlohy výlučne algoritmu by zredukovalo spravodlivosť na technickú operáciu a zbavilo by ju ľudskej zložky, ktorá tvorí jej podstatu.