Co to jest RAG?

Wizualizacja

Skąd nazwa?

Nazwa pochodzi z pracy naukowej z 2020 roku (Lewis i in.), która opisała łączenie modelu generującego tekst z wyszukiwaniem w zewnętrznej bazie dokumentów. Retrieval to wyszukanie, augmented to wzbogacenie, generation to wygenerowanie odpowiedzi.

Jak działa RAG krok po kroku?

1. Przygotowanie: dokumenty firmy dzieli się na krótsze fragmenty i zapisuje w indeksie do wyszukiwania (po słowach, po znaczeniu albo jedno i drugie).
2. Pytanie: klient albo pracownik pyta, np. „ile mam dni na zwrot?”.
3. Wyszukanie: system znajduje kilka fragmentów, które najlepiej pasują do pytania.
4. Odpowiedź: model dostaje pytanie, znalezione fragmenty i zasadę „odpowiadaj tylko na tej podstawie, a jeśli tu tego nie ma, powiedz to”.
5. Źródło: odpowiedź może wskazać, z którego dokumentu pochodzi.

RAG a dotrenowanie modelu

RAG sprawdza się przy wiedzy, która się zmienia: cennik, regulamin, stany, procedury. Zmiana polega na podmianie dokumentu. Dotrenowanie (fine-tuning) zmienia sam model i przydaje się raczej do stylu albo formatu odpowiedzi niż do faktów, które jutro mogą być inne. W agentach dla firm zwykle wystarcza RAG.

Czy zawsze potrzebna jest baza wektorowa?

Nie. Gdy wiedza firmy to kilka stron, można ją po prostu dołączyć do instrukcji modelu. Wyszukiwanie i indeks są potrzebne, gdy dokumentów jest dużo albo często się zmieniają.

Na co uważać?

• Stare i sprzeczne dokumenty: model powtórzy to, co znajdzie. Ktoś musi odpowiadać za aktualność bazy.
• Uprawnienia: asystent dla klientów nie może mieć dostępu do dokumentów wewnętrznych.
• Słabe wyszukiwanie: jeśli system nie znajdzie właściwego fragmentu, odpowiedź będzie słaba. Wyszukiwanie testuje się na prawdziwych pytaniach.
• Prompt injection w dokumentach: treść dokumentów to dane, a nie polecenia dla modelu.

RAG w naszych agentach

Agent odpowiada na podstawie Twojego cennika, regulaminu i systemów, a czego nie wie, przekazuje człowiekowi. Przykład: agent AI do wiadomości kupujących odpowiada o dostawie i zwrotach z regulaminu sklepu i danych zamówienia.

Najczęstsze pytania

Czy RAG eliminuje halucynacje?

Zmniejsza je, ale nie eliminuje. Model nadal może źle zrozumieć fragment albo dostać niewłaściwy. Dlatego w agentach dodajemy reguły sprawdzające wynik i tryb szkiców, w którym człowiek zatwierdza odpowiedź.

Czy przy RAG dokumenty firmy trafiają do trenowania modelu?

Przy RAG dokumenty są dołączane do zapytania, a nie wgrywane do modelu. Czy dostawca może użyć danych do trenowania, zależy od jego warunków. Na przykład Anthropic domyślnie nie trenuje modeli na danych przesyłanych przez API.

Czym RAG różni się od zwykłego czatu z AI?

Zwykły czat odpowiada z ogólnej wiedzy modelu, która może być nieaktualna i nie zna Twojej firmy. RAG najpierw wyszukuje informacje w Twoich dokumentach i każe modelowi odpowiadać na ich podstawie.

Źródła

• Lewis i in., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401)