AI-hallucinationer: sådan mindsker du risikoen, før modellen møder dine kunder

En hallucination er et svar, der lyder troværdigt, men ikke er sandt: et opdigtet tal, en regel, der ikke findes, et citat, som ingen har sagt, eller et link, der ikke fører nogen steder hen. Det er ikke en fejl, som én opdatering kan rette. En sprogmodel forudsiger den mest sandsynlige fortsættelse af en tekst og har ingen indbygget viden om, hvad den ikke ved.

At det er virksomheden og ikke modellen, der bærer ansvaret, er ikke teori. I 2024 afgjorde et canadisk nævn, at Air Canada hæftede for forkerte oplysninger om en rabat på billetter, som selskabets chatbot havde givet en kunde. Argumentet om, at chatbotten var en »selvstændig enhed«, overbeviste ikke.

Hvornår hallucinationer er mest almindelige

• Når modellen mangler data i sin kontekst og svarer ud fra hukommelsen i stedet for dokumenter.
• Når spørgsmålet handler om detaljer: tal, datoer, navne, priser, paragraffer, citater og kilder.
• Når opgaven er åben, og modellen selv skal afgøre, hvad der er vigtigt.
• Når prompten lægger pres på at give et svar hver gang.

Hvor risikoen er størst

Ikke al brug af AI kræver de samme sikkerhedsforanstaltninger. Det hjælper at dele opgaverne i to grupper.

Høj risiko: svar, der sendes til kunder uden gennemsyn, oplysninger om priser, vilkår og frister, juridisk og økonomisk indhold, tal i rapporter til ledelsen, kode, der går i produktion.

Lav risiko: idéudvikling, første udkast, som nogen læser før udgivelse, omformatering af data, opsummering af et dokument, som læseren alligevel har foran sig.

Foranstaltningerne nedenfor gælder primært den første gruppe.

Sådan mindsker du risikoen

1. Giv modellen kilder. I stedet for at spørge efter viden fra hukommelsen, så giv den virksomhedens dokumenter, og lad den kun svare ud fra dem. Det kaldes RAG. Kræv også, at den peger på det afsnit, svaret kommer fra.
2. Lad den sige »det ved jeg ikke«. Skriv det i instruktionerne, og tjek så med spørgsmål uden for området, om den faktisk afviser.
3. Gør opgaven smallere. At vælge fra en liste, trække data ud af et dokument eller udfylde en fast struktur er langt sikrere end fri skrivning.
4. Tjek automatisk det, der kan tjekkes. Sammenlign priser med databasen, åbn linkene, regn tallene efter, valider formatet. Et program gør det hurtigere og mere præcist end et menneske.
5. Behold et menneske, hvor fejl koster. Et svar på en reklamation eller et tilbud kan laves af AI, men sendes først efter godkendelse.
6. Test før hver ændring. Saml et par dusin rigtige spørgsmål med de korrekte svar, og kør dem efter hver ændring af instruktionerne eller modellen. Mål, hvor mange svar der er korrekte, hvor mange der er afvisninger, og hvor mange der er forkerte.
7. Gennemgå samtaler. Læs hver uge et udsnit af rigtige samtaler. Fejl, som testene ikke forudså, kommer derefter med i testene.

Det skal du ikke gøre

• Regn ikke med »lad være med at hallucinere« i instruktionerne. Modellen ved ikke, hvornår den hallucinerer, så opfordringen ændrer ikke meget.
• Lancér ikke en assistent til kunder uden test, bare fordi den klarede sig godt i en demo.
• Skjul ikke, at det er AI, der svarer. En kunde, der ved, hvem vedkommende taler med, behandler svaret anderledes og beder lettere om at tale med et menneske.

Hvor du skal starte

Før du bygger en assistent til kunder, så find ud af, hvilke opgaver i virksomheden der sikkert kan overlades til AI, og hvilke der kræver foranstaltningerne ovenfor. Sådan starter vi hver implementering: med en kortlægning af processerne og en liste over opgaver prioriteret efter besparelse og risiko. Læs mere om vores ydelse AI Boost.