Kontextové okno (context window) je limit toho, kolik textu umí AI model zpracovat najednou v jedné konverzaci, a to včetně historie chatu, systémových instrukcí, dokumentů i vygenerované odpovědi. Měří se v tokenech, kde zhruba 1 token odpovídá 0,75 slova.
Příklady velikostí: GPT-4o 128 000 tokenů (asi 96 000 slov, tedy zhruba 190 stran A4). Claude 3.5 Sonnet 200 000 tokenů (asi 150 000 slov, zhruba 300 stran). Gemini 1.5 Pro až 1 000 000 tokenů.
Proč je to pro firemní AI důležité? Pokud chcete, aby agent rozebral dlouhou smlouvu, prošel historii všech e-mailů s klientem nebo držel v hlavě celý kontext projektu, potřebujete model s dostatečně velkým kontextovým oknem.
Pozor ale na jednu věc: u dlouhých konverzací modely někdy zapomenou informace z úvodu, čemu se říká efekt lost in the middle. Proto jsou RAG a strukturovaná paměť agenta důležitější než samotná velikost okna.