Zrozumienie procesu gromadzenia danych dźwiękowych do automatycznego rozpoznawania mowy

Systemy automatycznego rozpoznawania mowy i wirtualni asystenci, tacy jak Siri, Alexa i Cortana, stały się powszechnymi elementami naszego życia. Nasza zależność od nich znacznie wzrasta, gdy stają się mądrzejsze. Od włączania światła, przez dzwonienie po zmianę kanałów telewizyjnych, wykorzystujemy te inteligentne technologie do wykonywania przyziemnych zadań.

Jednak czy kiedykolwiek zastanawiałeś się, jak działają te systemy rozpoznawania mowy?

Cóż, ten blog nauczy Cię podstaw automatycznego rozpoznawania mowy. Zbadamy również jego działanie i sposób budowy funkcjonalnych wirtualnych asystentów, takich jak Siri.

Co to jest automatyczne rozpoznawanie mowy?

Automatyczne rozpoznawanie mowy (ASR) to oprogramowanie, które umożliwia systemowi komputerowemu konwersję ludzkiej mowy na tekst, wykorzystując wiele algorytmów sztucznej inteligencji i uczenia maszynowego.

Po przekonwertowaniu i przeanalizowaniu danego polecenia, komputer odpowiada odpowiednim wyjściem dla użytkownika. ASR został po raz pierwszy wprowadzony w 1962 roku i od tego czasu stale ulepsza swoje operacje i zyskuje ogromne zainteresowanie dzięki popularnym aplikacjom, takim jak Alexa i Siri.

Czy wiesz, że automatyczne rozpoznawanie mowy jest również znane jako czytnik mowy na tekst? Przeczytaj więcej na ten temat na tym blogu! 

Na czym polega proces gromadzenia mowy w celu uczenia modeli ASR?

Zbieranie mowy ma na celu zebranie kilku przykładowych nagrań z wielu obszarów wykorzystywanych do zasilania i trenowania modeli ASR. System ASR zapewnia najwyższą wydajność, gdy duże zbiory danych mowy i dźwięku są gromadzone i dostarczane do jego systemu.

Aby działać bezproblemowo, zebrane zestawy danych mowy muszą zawierać wszystkie docelowe dane demograficzne, języki, akcenty i dialekty. Poniższy proces pokazuje, jak trenować model uczenia maszynowego w wielu krokach:

• Zacznij od zbudowania macierzy demograficznej

  Przede wszystkim zbiera dane dla różnych danych demograficznych, takich jak lokalizacja, płeć, język, wiek i akcent. Upewnij się również, że wychwytujesz różne dźwięki otoczenia, takie jak hałas uliczny, hałas poczekalni, hałas biurowy itp.

• Zbierz i transkrybuj dane mowy

  Następnym krokiem jest zebranie próbek ludzkiego dźwięku i mowy w różnych lokalizacjach geograficznych w celu wytrenowania modelu ASR. Jest to ważny krok i wymaga od ekspertów-ludzi wypowiadania długich i krótkich wypowiedzi słów, aby uzyskać autentyczne wrażenie zdania i powtarzania tych samych zdań w różnych akcentach i dialektach.

• Utwórz oddzielny zestaw testowy

  Po zebraniu transkrybowanego tekstu następnym krokiem jest sparowanie go z odpowiednimi danymi audio. Następnie podziel dane dalej i dołącz jedno z nich. Teraz z podzielonych na segmenty par danych możesz pobrać losowe dane ze zbioru do dalszych testów.

• Trenuj swój model językowy ASR

  Im więcej informacji mają twoje zbiory danych, tym lepsze będzie działanie modelu wytrenowanego przez sztuczną inteligencję. Dlatego generuj wiele wariacji tekstu i przemówień, które nagrałeś wcześniej. Parafrazuj te same zdania, używając różnych notacji mowy.

• Oceń dane wyjściowe i na koniec wykonaj iterację

  Na koniec mierzy dane wyjściowe modelu ASR, aby naprawić jego wydajność. Przetestuj model względem zestawu testowego, aby określić jego wydajność. Odpowiednio, zaangażuj swój model ASR w pętlę sprzężenia zwrotnego, aby wygenerować pożądane wyniki i naprawić wszelkie luki.

[Przeczytaj także: Kompleksowy przegląd automatycznego rozpoznawania mowy]