Hvordan skaber vi AI-løsninger, som jurister kan have tillid til? På Nordic Legal Tech Day satte Sarah Maringele fra Novonesis, Finbarr Geaney fra Legora og Michael Herbing fra Karnov Group fokus på et spørgsmål, der bliver stadig mere aktuelt i takt med, at AI bliver en større del af det juridiske arbejde.
AI kan allerede hjælpe jurister med research, analyse, drafting og en lang række andre opgaver. Men at en AI-løsning kan levere et svar hurtigt, er ikke nødvendigvis det samme som, at svaret kan bruges.
Tillid er ikke kun et teknologisk spørgsmål
Sarah Maringele, Legal Transformation and Insights Specialist hos Novonesis, valgte under debatten at udfordre selve begrebet trustworthy AI.
For hvad betyder tillid egentlig – og for hvem?
Hendes pointe var, at svaret afhænger af, hvor i organisationen man sidder. IT, enterprise architecture, legal, management og legal operations kan have vidt forskellige krav til, hvornår en løsning opleves som troværdig.
Derfor beskrev hun tillid som et designspørgsmål snarere end blot et teknisk eller IT-spørgsmål. Processer, data, mennesker og de konkrete stakeholders omkring løsningen er alle med til at afgøre, om den i sidste ende kan vække tillid.
Finbarr Geaney, Lead Legal Engineer hos Legora, byggede videre på samme pointe: Tillid opstår ikke, fordi en leverandør fortæller, at en løsning er troværdig. Brugeren skal selv have mulighed for at forstå resultatet, se hvor informationen kommer fra og verificere den. Det er særligt vigtigt i juridisk arbejde, hvor det i sidste ende er juristen, der står på mål for vurderingen.
AI skal ikke bruges, bare fordi vi kan
En anden gennemgående pointe i debatten var behovet for at starte med selve problemet – ikke teknologien. Michael Herbing, AI Content Lead hos Karnov Group, beskrev, hvordan forventningerne til generativ AI har ændret sig. Hvor der for få år siden kunne være en forestilling om, at AI kunne løse stort set alt inden for juridisk arbejde, er diskussionen i dag blevet mere realistisk.
Det betyder også, at den rigtige løsning ikke nødvendigvis er at lade AI håndtere en hel juridisk arbejdsproces. Det afgørende er at identificere de konkrete problemer og use cases, hvor teknologien kan gøre en reel forskel.
Sarah Maringele formulerede det meget konkret: Før man vælger værktøjet, må man vide, hvilken opgave man forsøger at løse. Og nogle gange er løsningen måske slet ikke AI.
Fra 'time saved' til 'time to trust'
Et af de centrale perspektiver fra Michael Herbing var, at vi bør se anderledes på den effektivitet, AI skaber.
Han introducerede begrebet 'time to trust'.
For hvis en AI kan generere et juridisk svar på få sekunder, men juristen efterfølgende skal bruge lang tid på at verificere svaret, er den reelle tidsbesparelse begrænset.
Derfor bør spørgsmålet ikke kun være:
Hvor hurtigt kan AI give mig et svar?
Men i lige så høj grad:
Hvor hurtigt kan jeg nå frem til et resultat, jeg har tillid til?
Det kræver selvfølgelig høj kvalitet i AI'ens output. Men det kræver også, at løsningen gør det enkelt for juristen at kontrollere resultatet. Som Michael fremhævede, er hastigheden i sig selv ikke det interessante. Det interessante er den tid, det tager brugeren at nå frem til et svar der er tillidsfuldt og som kan anvendes.
Det flytter effektivitetsperspektivet fra ren hastighed til selve arbejdsprocessen omkring AI.
Juridisk metode forsvinder ikke med AI
Et godt AI-genereret svar bør være baseret på den juridiske metode. Juristen skal kunne vurdere fortolkningen, undersøge grundlaget og kontrollere, at relevante kilder og nuancer ikke er blevet overset.
Derfor pegede Michael på to centrale designprincipper for juridisk AI: juridisk metode og nem adgang til kilderne.
AI ændrer ikke på behovet for juridisk faglighed. Tværtimod bliver fagligheden en afgørende del af samspillet mellem menneske og teknologi.
Som Michael formulerede det tidligere i debatten, handler det om at finde balancen mellem, hvornår AI gør arbejdet, og hvornår mennesket gør arbejdet. De to skal fungere i kombination.
Vi skal også turde tale om fejl
Tillid til AI betyder ikke, at vi skal forvente fejlfri teknologi.
Tværtimod sluttede debatten med en diskussion om, hvordan organisationer håndterer fejl, hallucinationer og inkonsistente resultater.
Michael pegede blandt andet på, at fokus ikke kun bør være på de åbenlyse hallucinationer.
Opmærksomheden bør også rettes mod mere subtile fejl – eksempelvis et forkert grundlag – og mod ensartetheden fra opgave til opgave: Kommer de relevante klausuler med hver gang? Mangler der noget? Er kvaliteten stabil?
Samtidig argumenterede han for, at organisationer, der introducerer AI, skal skabe plads til at tale åbent om, hvor teknologien fejler.
Hvis forventningen er en 100% fejlfri AI-løsning, bliver det svært at have den nødvendige diskussion om problemer, begrænsninger og læring.
Tillid skabes i samspillet mellem menneske og AI
Paneldebatten efterlod ikke én simpel opskrift på troværdige AI-løsninger.
Tillid afhænger af organisationen, opgaven, risikoen, dataene og den enkelte bruger. Men nogle principper gik igen: AI skal løse et reelt problem. Resultaterne skal kunne verificeres. Kilderne skal være transparente. Kvaliteten skal være konsistent. Og mennesket skal fortsat kunne forstå og vurdere det arbejde, teknologien udfører.
Derfor er spørgsmålet måske heller ikke længere kun, hvor meget tid AI kan spare juristen.
Det mere interessante spørgsmål er, hvor hurtigt AI kan hjælpe juristen frem til et resultat, de forstår, kan efterprøve – og har tillid til.
