Co to jest okno kontekstu?

Co wypełnia okno kontekstu

1. InstrukcjePrompt systemowy i opisy narzędzi agenta.
2. DaneDokumenty, znalezione fragmenty i wyniki z API.
3. HistoriaWcześniejsze wiadomości w tej samej rozmowie.
4. OdpowiedźTekst pisany przez model też zajmuje miejsce w oknie.
5. LimitPo przekroczeniu zapytanie jest odrzucane albo odpowiedź się urywa.

Jak działa okno kontekstu?

Model nie pamięta rozmowy sam z siebie. Przy każdej odpowiedzi aplikacja wysyła mu wszystko od nowa: prompt systemowy, dotychczasowe wiadomości, dokumenty i wyniki narzędzi. Według dokumentacji Anthropic do okna liczy się każdy element zapytania i także odpowiedź, którą model właśnie pisze. Gdy samo zapytanie przekracza limit, API je odrzuca. Aplikacje czatowe potrafią wtedy usuwać najstarsze wiadomości albo streszczać wcześniejszą część rozmowy.

Z tego samego powodu długa rozmowa z każdą wiadomością robi się droższa: przy kolejnej odpowiedzi model zwykle dostaje jeszcze raz wszystkie poprzednie wiadomości.

Ile mieści okno kontekstu?

To zależy od modelu i zmienia się z każdą generacją. Przykład: według dokumentacji Anthropic (stan na październik 2026) aktualne modele Claude mają okno 1 mln tokenów, co odpowiada mniej więcej kilkuset tysiącom słów po angielsku, a część starszych modeli 200 tys. tokenów. Inni dostawcy mają własne limity, które sprawdza się w dokumentacji konkretnego modelu. Polski tekst zajmuje więcej tokenów niż angielski, więc mieści się go mniej.

Czy większe okno znaczy lepsze odpowiedzi?

Nie zawsze. Anthropic opisuje zjawisko context rot: im więcej tokenów w oknie, tym słabiej model trafia w potrzebne informacje. Wcześniej badanie „Lost in the Middle” (Liu i in., 2023) pokazało, że modele najlepiej wykorzystują informacje z początku i końca długiego tekstu, a gorzej te ze środka. Do tego każdy token w oknie kosztuje przy każdym zapytaniu.

Okno kontekstu a RAG i narzędzia

Zamiast wklejać do modelu wszystkie dokumenty firmy, lepiej podać mu tylko to, co pasuje do pytania. Robi to RAG: wyszukuje kilka właściwych fragmentów. Podobnie działa serwer MCP: asystent pobiera dane z systemu wtedy, gdy ich potrzebuje, zamiast trzymać je w oknie od początku rozmowy.

Co to oznacza dla firmy

• Jedna rozmowa, jedno zadanie. Bardzo długie wątki gorzej się sprawdzają i więcej kosztują.
• Długi dokument lepiej umieścić na początku, a pytanie pod nim.
• Agent powinien dostawać tylko dane potrzebne w danym kroku.
• To, że model „widział” dokument w rozmowie, nie znaczy, że zapamięta go na następny raz.
• Gdy asystent zaczyna mylić fakty z początku długiej rozmowy, lepiej zacząć nową i podać mu krótkie podsumowanie.
• Stałą wiedzę firmy, np. oferty i procedury, w Claude można trzymać w projektach zamiast wklejać ją do każdej rozmowy. Ustawiamy to przy wdrożeniu Claude w firmie.

Najczęstsze pytania

Czy model pamięta poprzednie rozmowy?

Sam model nie. Pamięta tylko to, co jest w oknie kontekstu bieżącego zapytania. Niektóre aplikacje mają funkcje pamięci, ale działają one tak, że dokładają zapisane informacje do okna w kolejnej rozmowie.

Co się dzieje, gdy rozmowa przekroczy okno kontekstu?

Zależy od aplikacji. API może odrzucić zbyt długie zapytanie albo przerwać odpowiedź na limicie, a aplikacje czatowe zwykle usuwają lub streszczają najstarsze wiadomości. W obu przypadkach część informacji przestaje być widoczna dla modelu.

Czy dokument wklejony do okna kontekstu zmienia model?

Nie. Okno kontekstu to pamięć robocza na czas jednej odpowiedzi, a parametry modelu pozostają bez zmian. Czy dostawca może użyć danych do trenowania, zależy od jego warunków.

Źródła

• Anthropic: Context windows
• Anthropic: Glossary (context window)
• Liu i in., Lost in the Middle: How Language Models Use Long Contexts (arXiv 2307.03172, 2023)