Halucinace je označení pro situaci, kdy AI model vytvoří informaci, která zní přesvědčivě a gramaticky správně, ale prostě není pravdivá. Model si domyslí fakt, citaci, datum nebo jméno, které neexistuje.
Proč se to děje? LLM generují text statisticky. Předpovídají, které slovo pravděpodobně následuje po předchozím. Občas tahle statistická logika vyrobí gramaticky správné, ale fakticky chybné tvrzení.
Příklady: model uvede citaci z článku, který neexistuje; tvrdí, že zákon platí od roku X, přestože platí od roku Y; popisuje produkt s funkcemi, které nemá.
Jak s tím pracovat? Nedávejte AI agentům úlohy, u kterých by si fakta museli vymýšlet, ale napojte je na skutečné zdroje (RAG). U zásadních rozhodnutí vždy nechte poslední slovo člověku. A používejte modely s nižší mírou halucinací; Claude v benchmarcích dlouhodobě vychází lépe než většina konkurence.
Halucinace nejsou důvod AI nepoužívat. Jsou důvod používat ji správně.