Co to są halucynacje AI?

Warstwy ochrony przed halucynacjami w agencie

1. Dane z systemuCenę i status zamówienia agent bierze z API, a nie z pamięci modelu.
2. Prawo do niewiedzyPrompt pozwala przyznać, że brakuje informacji.
3. Cytat ze źródłaOdpowiedź wskazuje fragment dokumentu, na którym się opiera.
4. Reguły w kodzieProgram sprawdza kwoty, daty i numery przed wysłaniem.
5. CzłowiekW trybie szkiców odpowiedź zatwierdza pracownik.

Skąd się biorą halucynacje?

Duży model językowy nie ma w środku bazy faktów. Pisze odpowiedź, dobierając najbardziej prawdopodobne kolejne fragmenty tekstu. Zwykle wychodzi z tego prawda, ale gdy model czegoś nie wie, równie płynnie napisze coś, co tylko brzmi prawdziwie. Praca Kalai i in. z 2025 roku pokazuje jeszcze jedną przyczynę: sposób trenowania i oceniania modeli nagradza zgadywanie bardziej niż przyznanie się do niepewności, tak jak test, w którym za brak odpowiedzi nie ma punktów.

Ryzyko rośnie przy pytaniach o rzeczy rzadkie i bardzo szczegółowe: konkretne numery, daty, nazwiska, przepisy. Rośnie też wtedy, gdy model nie dostał żadnych danych i odpowiada wyłącznie z pamięci.

Jak wyglądają halucynacje w firmie?

Przykłady (fikcyjne):

• Asystent sklepu podaje 30 dni na zwrot, choć regulamin mówi coś innego.
• Model „cytuje” przepis albo wyrok, który nie istnieje.
• W streszczeniu maila pojawia się kwota, której w mailu nie było.
• Agent poleca produkt, którego sklep nie ma w ofercie.

Jak ograniczyć halucynacje?

• Dane zamiast pamięci. Fakty, które się zmieniają, model dostaje z systemów i dokumentów, np. przez RAG.
• Prawo do niewiedzy. Wyraźna zgoda na odpowiedź „brak informacji w dokumentach”. Dokumentacja Anthropic wskazuje to jako prostą technikę, która wyraźnie zmniejsza liczbę fałszywych informacji.
• Cytaty i źródła. Model najpierw wypisuje dosłowne fragmenty dokumentu, a dopiero potem odpowiada. Twierdzenie bez fragmentu, który je potwierdza, wypada.
• Tylko podane źródła. Wyraźne polecenie, żeby nie korzystać z ogólnej wiedzy modelu.
• Reguły w kodzie. Kwoty, terminy i numery zamówień sprawdza program, a nie model.
• Porównanie kilku odpowiedzi. Gdy to samo pytanie daje różne wyniki, to sygnał ostrzegawczy.

Dlaczego nikt nie da gwarancji „zero halucynacji”?

Bo wynikają z samej natury modeli językowych. Anthropic pisze wprost, że opisane techniki znacząco ograniczają halucynacje, ale ich nie eliminują, a ważne informacje trzeba weryfikować. Kto obiecuje „zero błędów”, ten albo nie testował, albo nie mówi prawdy. Uczciwa miara to odsetek błędów na prawdziwych sprawach firmy, sprawdzany przed startem i regularnie po nim.

Co to oznacza dla firmy

Najpierw trzeba ustalić, gdzie pomyłka kosztuje: pieniądze, terminy, sprawy prawne, zdrowie. Tam decyzja zostaje przy człowieku. Gdy błąd jest tani, np. przy szkicu wpisu na bloga, wystarczy uważne przeczytanie przed publikacją. Nasze agenty startują w trybie szkiców: agent przygotowuje, pracownik zatwierdza. Zasady korzystania z AI w zespole warto spisać, np. według wzoru polityki AI w firmie.

Najczęstsze pytania

Czy nowsze modele halucynują mniej?

Nie można na tym polegać. Anthropic zaznacza, że nawet najbardziej zaawansowane modele czasem piszą nieprawdę. Zabezpieczenia w agencie, takie jak dane z systemów, reguły w kodzie i akceptacja człowieka, są potrzebne niezależnie od modelu.

Jak sprawdzić, czy AI halucynuje w naszym procesie?

Przygotować zestaw prawdziwych pytań ze znanymi poprawnymi odpowiedziami i regularnie porównywać z nimi wyniki agenta. Dobrze działa też wymaganie źródła przy każdej odpowiedzi.

Czy halucynacja to to samo co błąd w danych?

Nie. Błąd w danych to złe informacje w systemie albo dokumencie, które model tylko powtarza. Halucynacja to treść, której w danych w ogóle nie było, a model ją dopisał.

Źródła

• Anthropic: Reduce hallucinations
• Kalai i in., Why Language Models Hallucinate (arXiv 2509.04664, 2025)