Co to jest fine-tuning?

Jak przebiega dotrenowanie modelu

1. Model bazowyGotowy, już wytrenowany model językowy.
2. PrzykładyZestaw par: polecenie i wzorcowa odpowiedź, sprawdzony przez ludzi.
3. TreningModel dostosowuje swoje parametry do wzorców z przykładów.
4. TestyPorównanie z modelem bazowym na przykładach spoza zestawu.
5. UtrzymanieNowa wersja modelu, którą trzeba aktualizować razem z procesem.

Jak działa fine-tuning?

Każdy duży model językowy przechodzi najpierw trening wstępny na ogromnych zbiorach tekstu. Asystenci tacy jak Claude są potem dotrenowywani przez dostawcę, żeby wykonywać polecenia. Fine-tuning po stronie firmy to kolejny krok: model dostaje zestaw własnych przykładów i zaczyna naśladować ich wzorce. Dokumentacja Anthropic opisuje to jako dostosowanie modelu do dziedziny, zadania albo stylu pisania.

Nie zawsze trzeba zmieniać cały model. Metoda LoRA (Hu i in., 2021) trenuje tylko niewielki dodatek do modelu. W pracy o niej, przy modelu GPT-3 175B, liczba trenowanych parametrów spadła około 10 tys. razy w porównaniu z pełnym dotrenowaniem.

Prompt, RAG czy fine-tuning?

• Prompt: pierwszy wybór. Szybko się go zmienia i testuje, a często wystarcza.
• RAG: do wiedzy, która się zmienia, np. cennika, regulaminu, procedur. Zmiana polega na podmianie dokumentu.
• Fine-tuning: do stałego formatu albo stylu przy bardzo wielu podobnych zadaniach, albo żeby mniejszy, tańszy model dobrze robił jedną wąską rzecz.

Kiedy fine-tuning ma sens?

Gdy zadanie jest powtarzalne i stabilne, firma ma dużo dobrych przykładów, a prompt i RAG zostały już sprawdzone i nie wystarczają. W małej firmie zdarza się to rzadko. Zwykle problem leży w niejasnych instrukcjach, słabym wyszukiwaniu albo braku danych z systemu, a nie w samym modelu.

Przykład (fikcyjny): hurtownia ma tysiące opisów produktów w jednym, stałym układzie i chce, żeby mały model pisał kolejne dokładnie tak samo. Tu dotrenowanie może się opłacić. Odpowiadanie klientom o dostawie i zwrotach to zadanie dla promptu i RAG, bo zasady i dane się zmieniają.

Na co uważać?

• Jakość przykładów. Model nauczy się także błędów i uprzedzeń z danych treningowych.
• Dane osobowe. Przykłady z prawdziwej korespondencji z klientami trzeba przygotować zgodnie z RODO.
• Testy. Dotrenowany model trzeba porównać z bazowym na przykładach spoza treningu, bo w jednym zadaniu bywa lepszy, a w innym gorszy.
• Utrzymanie. Dostawcy wycofują stare modele, a dotrenowaną wersję trzeba wtedy przygotować od nowa.
• Dostępność. Nie każdy dostawca to oferuje. Według dokumentacji (stan na październik 2026) API Claude nie ma publicznego dotrenowania, a Gemini API nie ma już modelu, który je obsługuje.

Fine-tuning w naszych agentach

Domyślnie nie dotrenowujemy modeli. Agent dostaje dobry prompt, dane przez oficjalne API i dokumenty firmy przez RAG. Taki układ łatwiej poprawić i przenieść na nowszy model. Przykład: agent do wiadomości kupujących odpowiada z regulaminu i danych zamówienia, bez dotrenowania.

Najczęstsze pytania

Czy fine-tuning nauczy model cennika firmy?

To zły pomysł. Cennik się zmienia, a każda zmiana wymagałaby ponownego treningu. Ceny i stany agent powinien pobierać z systemu albo z aktualnego dokumentu.

Czy można dotrenować Claude albo GPT?

To zależy od dostawcy i modelu, a oferta się zmienia. Według dokumentacji Anthropic (stan na październik 2026) API Claude nie oferuje publicznie dotrenowania. Aktualne możliwości trzeba sprawdzić w dokumentacji konkretnego dostawcy.

Ile przykładów potrzeba do fine-tuningu?

Nie ma jednej liczby: zależy to od zadania, modelu i dostawcy. Ważniejsza od ilości jest jakość i różnorodność przykładów oraz osobny zestaw testowy, na którym sprawdza się wynik.

Źródła

• Anthropic: Glossary (fine-tuning, pretraining)
• Hu i in., LoRA: Low-Rank Adaptation of Large Language Models (arXiv 2106.09685, 2021)
• Google AI for Developers: Fine-tuning with the Gemini API