Kontextové okno (context window) je limit toho, koľko textu môže AI model spracovať naraz v jednej konverzácii — vrátane histórie chatu, systémových inštrukcií, dokumentov a vygenerovanej odpovede. Meria sa v tokenoch (zhruba 1 token = 0,75 slova).
Príklady veľkostí: GPT-4o: 128 000 tokenov (~96 000 slov / ~190 strán A4). Claude 3.5 Sonnet: 200 000 tokenov (~150 000 slov / ~300 strán). Gemini 1.5 Pro: až 1 000 000 tokenov.
Prečo je to dôležité pre firemnú AI? Ak chcete, aby agent analyzoval dlhú zmluvu, spracoval históriu všetkých e-mailov s klientom alebo mal na pamäti celý kontext projektu — potrebujete model s dostatočne veľkým kontextovým oknom.
Ale pozor: pri dlhých konverzáciách modely niekedy „zabudnú" informácie z úvodu — tzv. lost in the middle efekt. Preto je RAG a štruktúrovaná pamäť agentov dôležitejšia ako len veľké kontextové okno.