AI-hallucinationer: minska risken innan modellen möter dina kunder

En hallucination är ett svar som låter trovärdigt men inte stämmer: en påhittad siffra, en regel som inte finns, ett citat som ingen har sagt eller en länk som inte leder någonstans. Det är inte ett fel som en uppdatering kan rätta. En språkmodell förutsäger den mest sannolika fortsättningen på en text och har ingen inbyggd kunskap om vad den inte vet.

Att det är företaget och inte modellen som bär ansvaret är ingen teori. År 2024 slog en kanadensisk tribunal fast att Air Canada var ansvarigt för felaktig information om en biljettrabatt som bolagets chattbot hade gett en kund. Argumentet att chattboten var en ”separat enhet” övertygade inte.

När hallucinationer är vanligast

• När modellen saknar data i sin kontext och svarar ur minnet i stället för ur dokument.
• När frågan gäller detaljer: siffror, datum, namn, priser, paragrafer, citat och källor.
• När uppgiften är öppen och modellen själv måste avgöra vad som är viktigt.
• När prompten pressar modellen att alltid ge ett svar.

Var risken är störst

Alla användningar av AI behöver inte samma skydd. Det hjälper att dela upp uppgifterna i två grupper.

Hög risk: svar som skickas till kunder utan granskning, information om priser, villkor och tidsfrister, juridiskt och ekonomiskt innehåll, siffror i rapporter till ledningen, kod som går till produktion.

Låg risk: idéarbete, första utkast som någon läser före publicering, omformatering av data, sammanfattning av ett dokument som läsaren ändå har framför sig.

Skydden nedan gäller främst den första gruppen.

Så minskar du risken

1. Ge modellen källor. I stället för att fråga efter kunskap ur minnet, ge den företagets dokument och låt den svara bara utifrån dem. Det kallas RAG. Kräv också att den pekar ut stycket som svaret kommer från.
2. Låt den säga ”jag vet inte”. Skriv det i instruktionerna och kontrollera sedan med frågor utanför området om den verkligen avböjer.
3. Gör uppgiften snävare. Att välja från en lista, plocka ut data ur ett dokument eller fylla i en fast struktur är mycket säkrare än fritt skrivande.
4. Kontrollera automatiskt det som går att kontrollera. Jämför priser med databasen, öppna länkarna, räkna om siffrorna, validera formatet. Ett program gör det snabbare och noggrannare än en människa.
5. Behåll en människa där fel kostar. Ett svar på en reklamation eller en offert kan tas fram av AI men skickas först efter godkännande.
6. Testa före varje ändring. Samla några dussin verkliga frågor med rätt svar och kör dem efter varje ändring av instruktionerna eller modellen. Mät hur många svar som är rätt, hur många som är avböjanden och hur många som är fel.
7. Gå igenom samtal. Läs varje vecka ett urval av verkliga samtal. Fel som testerna inte förutsåg läggs sedan till i testerna.

Det här ska du inte göra

• Lita inte på ”hallucinera inte” i instruktionerna. Modellen vet inte när den hallucinerar, så uppmaningen gör liten skillnad.
• Lansera inte en assistent för kunder utan tester bara för att den klarade sig bra i en demo.
• Dölj inte att det är AI som svarar. En kund som vet vem hen pratar med behandlar svaret annorlunda och ber lättare om att få prata med en människa.

Var du ska börja

Innan du bygger en assistent för kunder, ta reda på vilka uppgifter i företaget som säkert kan lämnas till AI och vilka som behöver skydden ovan. Så börjar vi varje implementering: med en kartläggning av processerna och en lista över uppgifter rangordnade efter besparing och risk. Läs mer om vår tjänst AI Boost.