Co to jest embedding?

Wyszukiwanie po znaczeniu krok po kroku

1. FragmentyDokumenty firmy dzieli się na krótkie akapity.
2. WektoryModel embeddingowy zamienia każdy akapit na listę liczb.
3. IndeksWektory trafiają do indeksu, np. bazy wektorowej.
4. PytaniePytanie klienta też zamienia się na wektor tym samym modelem.
5. DopasowanieSystem wybiera akapity, których wektory są najbardziej podobne.

Jak działa embedding?

Model embeddingowy czyta tekst i zwraca wektor, czyli listę liczb, często o długości kilkuset albo kilku tysięcy. Przykład: w dokumentacji Anthropic modele Voyage AI domyślnie zwracają 1024 liczby na tekst. Pojedyncze liczby nic nie znaczą dla człowieka, ale układ całego wektora oddaje sens tekstu. Podobieństwo dwóch tekstów liczy się matematycznie, najczęściej jako podobieństwo cosinusowe: im bliżej 1, tym bliższe znaczenie.

Pomysł nie jest nowy. Praca Mikolova i in. z 2013 roku (word2vec) pokazała, jak sprawnie uczyć się wektorów dla pojedynczych słów. Dzisiejsze modele robią to samo dla całych zdań, akapitów, a nawet obrazów.

Do czego służy embedding?

• Wyszukiwanie po znaczeniu w dokumentach firmy, także gdy klient używa innych słów niż regulamin.
• RAG: znalezienie fragmentów, które agent dostanie razem z pytaniem.
• Klasyfikacja i grupowanie, np. przypisanie maila do tematu albo grupowanie podobnych reklamacji.
• Wykrywanie nietypowych przypadków i rekomendacje podobnych produktów.

Embedding a model językowy

Model embeddingowy nie pisze odpowiedzi, tylko zamienia tekst na liczby. To osobny, zwykle mały i tani model. Nie każdy dostawca LLM ma własny: Anthropic nie oferuje modelu embeddingowego i w dokumentacji wskazuje Voyage AI, a Google ma własne modele embeddingowe w Gemini API. W agencie oba rodzaje modeli pracują razem: embedding pomaga znaleźć fragmenty, a LLM pisze z nich odpowiedź.

Na co uważać?

• Ten sam model do dokumentów i do pytań. Wektory z różnych modeli nie są ze sobą porównywalne, a zmiana modelu oznacza ponowne przeliczenie całej bazy.
• Kody i numery. Przy numerach zamówień czy symbolach produktów lepiej działa zwykłe wyszukiwanie po słowach, dlatego często łączy się oba sposoby.
• Polski tekst. Jakość różni się między modelami, więc wyszukiwanie testuje się na prawdziwych pytaniach klientów.
• Prywatność. Wektor to nie anonimizacja. Badanie Morrisa i in. (2023) pokazało, że z embeddingów da się odtworzyć dużą część oryginalnego tekstu.

Embedding w naszych agentach

Nie zawsze jest potrzebny. Gdy wiedza firmy to kilka stron, wystarczy dołączyć ją do instrukcji agenta. Przy większej liczbie dokumentów indeksujemy je po znaczeniu i po słowach, a wyszukiwanie sprawdzamy na prawdziwych pytaniach, zanim agent zacznie odpowiadać klientom. Indeks aktualizuje się razem z dokumentami: gdy zmienia się regulamin, stare fragmenty znikają z bazy, żeby agent nie cytował nieaktualnych zasad. Przykład takiego agenta: agent do wiadomości kupujących.

Najczęstsze pytania

Czy do embeddingów potrzebna jest baza wektorowa?

Przy małej liczbie dokumentów nie: wektory można trzymać w zwykłej bazie albo nawet w pliku. Specjalna baza wektorowa przydaje się, gdy fragmentów są dziesiątki tysięcy i wyszukiwanie musi być szybkie.

Czy embedding działa po polsku?

Tak, wiele modeli embeddingowych jest wielojęzycznych. Jakość dla polskiego różni się jednak między modelami, dlatego przed wdrożeniem warto porównać je na własnych dokumentach i pytaniach.

Czy embedding to to samo co RAG?

Nie. Embedding to sposób zapisu znaczenia tekstu. RAG to cały proces: wyszukanie pasujących fragmentów, często właśnie za pomocą embeddingów, i podanie ich modelowi razem z pytaniem.

Źródła

• Anthropic: Embeddings
• Google AI for Developers: Embeddings
• Morris i in., Text Embeddings Reveal (Almost) As Much As Text (arXiv 2310.06816, 2023)