Halucynacje AI: jak ograniczyć ryzyko, zanim model trafi do klientów

Halucynacja to odpowiedź, która brzmi wiarygodnie, ale jest nieprawdziwa: zmyślona liczba, nieistniejący przepis, cytat, którego nikt nie powiedział, albo link prowadzący donikąd. Nie jest to usterka, którą da się naprawić jedną aktualizacją. Model językowy przewiduje najbardziej prawdopodobny ciąg dalszy tekstu i nie ma wbudowanej wiedzy o tym, czego nie wie.

To, że odpowiedzialność ponosi firma, a nie model, nie jest teorią. W 2024 roku kanadyjski trybunał uznał, że linia lotnicza Air Canada odpowiada za błędną informację o zniżce, której klientowi udzielił jej chatbot. Argument, że chatbot jest „osobnym bytem”, nie przekonał orzekającego.

Kiedy halucynacje są najczęstsze

• Gdy model nie ma danych w kontekście i odpowiada z pamięci, zamiast z dokumentów.
• Gdy pytanie dotyczy szczegółów: liczb, dat, nazwisk, cen, numerów przepisów, cytatów i źródeł.
• Gdy zadanie jest otwarte i model musi sam zdecydować, co jest ważne.
• Gdy prompt wywiera presję, żeby zawsze coś odpowiedzieć.

Gdzie ryzyko jest największe

Nie każde użycie AI wymaga tych samych zabezpieczeń. Warto rozdzielić zadania na dwie grupy.

Wysokie ryzyko: odpowiedzi wysyłane klientom bez przeglądu, informacje o cenach, warunkach i terminach, treści prawne i finansowe, dane w raportach dla zarządu, kod trafiający na produkcję.

Niskie ryzyko: burza mózgów, pierwsze wersje tekstów, które ktoś przeczyta przed publikacją, zmiana formatu danych, streszczenie dokumentu, który czytający i tak ma przed sobą.

Zabezpieczenia z listy poniżej mają sens przede wszystkim w pierwszej grupie.

Jak ograniczyć ryzyko

1. Daj modelowi źródła. Zamiast pytać o wiedzę z pamięci, podawaj mu dokumenty firmy i każ odpowiadać tylko na ich podstawie. To podejście nazywa się RAG. Dodatkowo wymagaj, żeby wskazywał fragment, z którego pochodzi odpowiedź.
2. Pozwól mu powiedzieć „nie wiem”. Napisz to w instrukcji, a potem sprawdź na pytaniach spoza zakresu, czy naprawdę odmawia.
3. Zawężaj zadanie. Wybór z listy, wyciągnięcie danych z dokumentu albo wypełnienie ustalonej struktury są znacznie bezpieczniejsze niż swobodne pisanie.
4. Sprawdzaj automatycznie to, co da się sprawdzić. Ceny porównuj z bazą, linki otwieraj, liczby przeliczaj, format waliduj. Program zrobi to szybciej i dokładniej niż człowiek.
5. Zostaw człowieka tam, gdzie błąd kosztuje. Odpowiedź dla klienta w sprawie reklamacji czy oferta mogą być przygotowane przez AI, ale wysłane dopiero po akceptacji.
6. Testuj przed każdą zmianą. Zbierz kilkadziesiąt prawdziwych pytań z poprawnymi odpowiedziami i uruchamiaj je po każdej zmianie instrukcji albo modelu. Mierz, ile odpowiedzi jest poprawnych, ile jest odmów i ile błędów.
7. Przeglądaj rozmowy. Co tydzień przeczytaj próbkę prawdziwych rozmów. Błędy, których nie przewidziały testy, trafiają potem do zestawu testowego.

Czego nie robić

• Nie licz na zdanie „nie halucynuj” w instrukcji. Model nie wie, kiedy halucynuje, więc sama prośba niewiele zmienia.
• Nie uruchamiaj asystenta dla klientów bez testów tylko dlatego, że dobrze wypadł na pokazie.
• Nie ukrywaj, że odpowiada AI. Klient, który wie, z kim rozmawia, inaczej traktuje odpowiedź i łatwiej prosi o kontakt z człowiekiem.

Od czego zacząć

Zanim zbudujesz asystenta dla klientów, sprawdź, które zadania w firmie można bezpiecznie oddać AI, a które wymagają zabezpieczeń opisanych wyżej. Tak zaczynamy każde wdrożenie: od audytu procesów i listy zadań uszeregowanej według oszczędności i ryzyka. Więcej o tym przeczytasz na stronie usługi AI Boost.