Co to jest ASR i TTS?

Jedna tura rozmowy z asystentem głosowym

1. MowaDzwoniący mówi, np. „chciałbym umówić wymianę opon na piątek”.
2. ASRRozpoznawanie mowy zamienia wypowiedź na tekst.
3. Model językowyLLM rozumie sprawę, sprawdza wolne terminy i układa odpowiedź.
4. TTSSynteza mowy odczytuje odpowiedź dzwoniącemu.

Co robi ASR?

Rozpoznawanie mowy (ang. speech-to-text) słucha nagrania albo rozmowy na żywo i zapisuje ją jako tekst. Współczesne systemy ASR to modele uczone na bardzo dużych zbiorach nagrań. Na przykład model Whisper, opisany w pracy naukowej z 2022 roku, uczono na 680 tysiącach godzin nagrań w wielu językach. Jakość rozpoznawania mierzy się zwykle odsetkiem błędnie rozpoznanych słów (WER, word error rate).

Co robi TTS?

Synteza mowy (ang. text-to-speech) zamienia tekst na głos. Starsze syntezatory brzmiały mechanicznie, nowsze, oparte na sieciach neuronowych, lepiej oddają intonację i pauzy, więc odpowiedź brzmi bliżej zwykłej rozmowy. Przy wyborze głosu liczy się też poprawna wymowa polskich nazw, liczb i dat, bo to je dzwoniący musi zrozumieć za pierwszym razem. Prostą syntezę mowy mają wbudowaną także przeglądarki internetowe, w ramach Web Speech API.

Jak ASR i TTS tworzą asystenta telefonicznego?

Każda tura rozmowy przechodzi trzy etapy: ASR zapisuje wypowiedź dzwoniącego, model językowy decyduje, co odpowiedzieć i czy sprawdzić coś w kalendarzu, a TTS odczytuje odpowiedź. Liczy się czas: gdy etapy trwają za długo, w rozmowie pojawiają się nienaturalne pauzy. Część nowszych modeli przetwarza mowę bezpośrednio, bez osobnego etapu tekstu, ale z punktu widzenia firmy zasada jest ta sama: asystent słucha, rozumie i odpowiada głosem.

Co wpływa na jakość rozpoznawania?

• Jakość połączenia: dźwięk z telefonu jest gorszy niż nagranie z dobrego mikrofonu, a do tego dochodzą szum ulicy, wiatr czy hałas w warsztacie.
• Nazwy własne i słownictwo branżowe: nazwiska, nazwy ulic, modele aut, nazwy zabiegów. Część systemów pozwala podać listę słów, które mają rozpoznawać lepiej.
• Liczby, daty i adresy: tu pomyłka kosztuje najwięcej, dlatego asystent powinien powtórzyć termin albo numer i poprosić o potwierdzenie.

Co to oznacza dla firmy?

Asystenta głosowego warto przetestować na prawdziwych rozmowach z własnej branży, a nie tylko na pokazie. Liczy się, czy dobrze rozpoznaje nazwy usług i nazwiska oraz czy nie przerywa rozmówcy. Asystent musi też powiedzieć, że jest AI (art. 50 AI Act, od 2 sierpnia 2026 r.; gotowe zdania we wzorze komunikatu), a jeśli rozmowa jest zapisywana lub zamieniana na tekst, dzwoniący powinien o tym wiedzieć zgodnie z RODO. Nasza sekretarka AI przedstawia się jako AI, zbiera sprawę, zapisuje wizytę i wysyła właścicielowi podsumowanie rozmowy. Czym różni się od automatycznego menu telefonicznego: voicebot czy IVR.

Najczęstsze pytania

Czy rozpoznawanie mowy dobrze radzi sobie z językiem polskim?

Współczesne modele rozpoznawania mowy obsługują polski, ale skuteczność zależy od modelu, jakości połączenia i słownictwa. Dlatego asystenta testuje się na prawdziwych rozmowach z danej branży przed uruchomieniem.

Czy asystent może mówić głosem konkretnej osoby, np. właściciela?

Technicznie bywa to możliwe, ale wymaga wyraźnej zgody tej osoby, a asystent i tak musi powiedzieć, że jest AI. Bezpieczniej użyć neutralnego głosu syntetycznego.

Czy przy ASR rozmowy muszą być nagrywane?

ASR potrzebuje dźwięku, żeby zamienić go na tekst, ale nagranie nie musi być długo przechowywane. To, czy i jak długo zostają nagrania i transkrypcje, ustala się przy wdrożeniu i opisuje w informacji RODO dla dzwoniących.

Źródła

• Radford i in., Robust Speech Recognition via Large-Scale Weak Supervision (Whisper, arXiv 2212.04356)
• MDN Web Docs: Web Speech API
• Rozporządzenie (UE) 2024/1689 (AI Act), art. 50: tekst na EUR-Lex