Konwersacyjna sztuczna inteligencja: automatyczne rozpoznawanie mowy

Rozwiązanie

Dzięki naszemu głębokiemu zrozumieniu konwersacyjnej sztucznej inteligencji pomogliśmy klientowi zebrać i przepisać dane audio wraz z zespołem ekspertów, lingwistów i adnotatorów, aby zbudować duży zbiór danych audio z odległych części Indii.

Zakres prac Shaipa obejmował między innymi pozyskiwanie dużych ilości danych szkoleniowych audio, transkrypcję danych i dostarczanie odpowiednich plików JSON zawierających metadane [zarówno dla mówców, jak i osób transkrybujących. Metadane każdego mówcy obejmują anonimowy identyfikator mówcy, szczegóły urządzenia, informacje demograficzne, takie jak płeć, wiek i wykształcenie, wraz z kodem PIN, statusem społeczno-ekonomicznym, używanymi językami oraz zapisem całego pobytu. Dane każdego transkrypcyjnego obejmują anonimowy identyfikator Transcribera, dane demograficzne podobne do tych, które mówią, czas trwania transkrypcji oraz dokładny wykaz języków, w których potrafi czytać, pisać i mówić.

Shaip zebrany 8000 godzin danych dźwiękowych / Mowa spontaniczna na dużą skalę i transkrybowana 800 godzin przy zachowaniu pożądanego poziomu jakości wymaganego do szkolenia technologii mowy na potrzeby złożonych projektów. Od każdego z uczestników pobrano formularz wyraźnej zgody. / Zebrana spontaniczna mowa została oparta na obrazach dostarczonych przez Uniwersytet. Z 3500 obrazy, 1000 są ogólne i 2500 odnoszą się do kultury danej dzielnicy, festiwali itp. Obrazy przedstawiają różne dziedziny, takie jak dworce kolejowe, rynki, pogoda i inne.

Zbieranie danych

Ogólne wytyczne

utworzony

• • Dźwięk przy 16 kHz, 16 bitów/próbkę.
  • Pojedynczy kanał.
  • Surowy dźwięk bez transkodowania.

Styl

• • Spontaniczna mowa.
  • Zdania oparte na obrazach dostarczonych przez Uniwersytet. Spośród 3500 obrazów 1000 ma charakter ogólny, a 2500 odnosi się do kultury danej dzielnicy, festiwali itp. Obrazy przedstawiają różne dziedziny, takie jak dworce kolejowe, rynki, pogoda i nie tylko.

Tło nagrania

• • Nagrano w cichym, pozbawionym echa otoczeniu.
  • Brak zakłóceń smartfona (wibracje czy powiadomienia) podczas nagrywania.
  • Żadnych zniekształceń, takich jak obcinanie lub efekty dalekiego pola.
  • Wibracje z telefonu niedopuszczalne; Wibracje zewnętrzne są tolerowane, jeśli dźwięk jest czysty.

Specyfikacja głośnika

• • Przedział wiekowy od 20 do 70 lat, ze zrównoważonym rozkładem płci w poszczególnych okręgach.
  • Minimum 400 native speakerów w każdym okręgu.
  • Osoby mówiące powinny używać swojego języka/dialektu ojczystego.
  • Formularze zgody są obowiązkowe dla wszystkich uczestników.

Kontrola jakości i krytyczne zapewnienie jakości

W procesie kontroli jakości priorytetem jest zapewnienie jakości nagrań audio i transkrypcji. Standardy audio koncentrują się na precyzyjnej ciszy, czasie trwania segmentu, przejrzystości pojedynczego głośnika i szczegółowych metadanych, w tym wieku i statusie społeczno-ekonomicznym. Kryteria transkrypcji kładą nacisk na dokładność tagów, prawdziwość słów i prawidłowe szczegóły segmentów. Test porównawczy akceptacji wskazuje, że jeśli ponad 20% partii audio nie spełnia tych standardów, zostaje ona odrzucona. W przypadku rozbieżności mniejszych niż 20% wymagane są nagrania zastępcze o podobnych profilach.

Transkrypcja danych

Wytyczne dotyczące transkrypcji kładą nacisk na dokładność i dosłowną transkrypcję tylko wtedy, gdy słowa są jasne i zrozumiałe; niejasne słowa są oznaczane jako [niezrozumiałe] lub [niesłyszalne] w zależności od problemu. Granice zdań w długim formacie audio są oznaczone symbolem i nie jest dozwolone parafrazowanie ani poprawianie błędów gramatycznych. Dosłowna transkrypcja obejmuje błędy, slangi i powtórzenia, ale pomija fałszywe początki, dźwięki wypełniające i zacięcia. Odgłosy tła i pierwszego planu są transkrybowane za pomocą znaczników opisowych, podczas gdy nazwy własne, tytuły i numery podlegają określonym zasadom transkrypcji. Do każdego zdania używane są etykiety mówców, a zdania niekompletne są oznaczone symbolem.

Przepływ pracy projektu

Przepływ pracy opisuje proces transkrypcji dźwięku. Zaczyna się od onboardingu i szkolenia uczestników. Nagrywają dźwięk za pomocą aplikacji, która jest przesyłana na platformę kontroli jakości. Ten dźwięk przechodzi kontrolę jakości i automatyczną segmentację. Następnie zespół techniczny przygotowuje segmenty do transkrypcji. Po ręcznej transkrypcji następuje etap zapewnienia jakości. Transkrypcje dostarczane są do Klienta i w przypadku ich akceptacji, dostawę uważa się za kompletną. Jeśli nie, poprawki są wprowadzane na podstawie opinii klientów.