Co to są tokeny?

Od tekstu do rachunku za API

1. TekstPrompt, dane z systemu, historia rozmowy i pytanie.
2. Podział na tokenyTokenizer dzieli tekst na kawałki, np. dłuższe słowo na kilka części.
3. Tokeny wejścioweWszystko, co trafia do modelu w zapytaniu.
4. Tokeny wyjścioweOdpowiedź modelu, liczona osobno i zwykle droższa.
5. KosztLiczba tokenów razy stawki danego modelu u dostawcy.

Ile tekstu to jeden token?

To zależy od modelu i języka, bo każdy dostawca ma własny tokenizer, czyli program dzielący tekst na tokeny. Google podaje dla modeli Gemini regułę: token to około 4 znaki, a 100 tokenów to około 60–80 słów po angielsku. Anthropic pisze, że nowszy tokenizer Claude (od wersji 4.7) daje dla tego samego tekstu około 30% więcej tokenów niż wcześniejsze modele. Dokładną liczbę zawsze najlepiej policzyć narzędziem dostawcy na własnym tekście.

Tokenizery zwykle dzielą tekst na podsłowa, czyli kawałki słów. Popularną metodę BPE opisali w 2015 roku Sennrich i in. przy tłumaczeniu maszynowym: częste słowa zostają w całości, a rzadkie rozkłada się na części. Dlatego długie polskie słowa z końcówkami często zajmują kilka tokenów.

Języki inne niż angielski zwykle dzielą się na więcej tokenów. Badanie Petrova i in. z 2023 roku pokazało, że ta sama treść w różnych językach może mieć nawet 15 razy więcej tokenów. Dla polskiej firmy oznacza to, że ten sam tekst kosztuje więcej i zajmuje więcej miejsca w oknie kontekstu.

Za co płaci się w API?

Dostawcy liczą osobno tokeny wejściowe (wszystko, co wysyłasz) i wyjściowe (to, co model napisze). Wyjściowe są zwykle kilka razy droższe. Do wejścia liczy się każdy element zapytania: prompt systemowy, cała dotychczasowa rozmowa, dokumenty, obrazy, wyniki narzędzi i opisy narzędzi agenta. Część dostawców obniża koszt powtarzalnych fragmentów (cache promptu) i zadań, na które można poczekać (przetwarzanie wsadowe).

Co podnosi koszt agenta?

• Długi prompt i cała historia rozmowy wysyłane przy każdym kroku.
• Całe dokumenty zamiast pasujących fragmentów (do tego służy RAG).
• Największy model do prostych zadań, np. do rozpoznania tematu maila.
• Agent, który kręci się w kółko, bo nie ma limitu kroków.
• Długie odpowiedzi tam, gdzie wystarczyłaby krótka. Za tokeny wyjściowe płaci się najwięcej.

Jak kontrolować koszt?

• Liczenie przed wysłaniem. Na przykład API Claude ma bezpłatne liczenie tokenów, choć wynik jest szacunkiem.
• Limit wydatków i alarm u dostawcy.
• Mały model do prostych kroków, duży tylko tam, gdzie jest potrzebny.
• Tylko potrzebne dane w zapytaniu, a nie wszystko na wszelki wypadek.
• Zwięzły format odpowiedzi, np. lista albo szkic maila zamiast długiego wywodu.

Tokeny w naszych wdrożeniach

Koszt API płaci firma bezpośrednio u dostawcy modelu, więc widzi każdy rachunek. Szacunek podajemy przed startem, a ustawienie limitu wydatków jest częścią wdrożenia. Orientacyjne widełki dla swojego procesu sprawdzisz w kalkulatorze kosztu agenta AI.

Najczęstsze pytania

Ile tokenów ma strona tekstu po polsku?

Nie ma jednej liczby, bo zależy to od modelu, tokenizera i samego tekstu. Najpewniej policzyć to narzędziem dostawcy na własnym dokumencie, a nie przeliczać z reguł podawanych dla angielskiego.

Czy obrazy i pliki PDF też liczą się w tokenach?

Tak. Obrazy i strony dokumentów dołączone do zapytania są zamieniane na tokeny i liczą się do limitu okna kontekstu oraz do kosztu, tak jak tekst.

Dlaczego ten sam tekst ma różną liczbę tokenów w różnych modelach?

Bo modele używają różnych tokenizerów. Zmienia się to nawet w obrębie jednego dostawcy, dlatego przy zmianie modelu warto ponownie policzyć tokeny i koszt.

Źródła

• Anthropic: Token counting
• Google AI for Developers: Understand and count tokens
• Petrov i in., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, 2023)