Studium przypadku: konwersacyjna sztuczna inteligencja
Ponad 3 tys. godzin zebranych, podzielonych na segmenty i przepisanych danych w celu stworzenia ASR w 8 językach indyjskich
Celem rządu jest umożliwienie swoim obywatelom łatwego dostępu do Internetu i usług cyfrowych w ich własnym języku ojczystym za pośrednictwem projektu Bhashini.
BHASHINI, indyjska platforma tłumaczeń językowych oparta na sztucznej inteligencji, jest istotną częścią inicjatywy Digital India.
Platforma Bhashini, zaprojektowana w celu zapewnienia narzędzi sztucznej inteligencji (AI) i przetwarzania języka naturalnego (NLP) małym i średnim przedsiębiorstwom, start-upom i niezależnym innowatorom, służy jako zasób publiczny. Jego celem jest promowanie włączenia cyfrowego poprzez umożliwienie obywatelom Indii interakcji z inicjatywami cyfrowymi kraju w ich ojczystych językach.
Dodatkowo ma na celu znaczne zwiększenie dostępności treści internetowych w językach indyjskich. Jest to szczególnie ukierunkowane na obszary interesu publicznego, takie jak zarządzanie i polityka, nauka i technologia itp. W rezultacie zachęci to obywateli do korzystania z Internetu w ich własnym języku, promując ich aktywne uczestnictwo.
Rozwiązanie dla świata rzeczywistego
Uwolnij moc lokalizacji za pomocą danych
Indie potrzebowały platformy, która koncentrowałaby się na tworzeniu wielojęzycznych zbiorów danych i rozwiązań językowych opartych na sztucznej inteligencji, aby świadczyć usługi cyfrowe w językach indyjskich. Aby uruchomić tę inicjatywę, Indyjski Instytut Technologiczny w Madrasie (IIT Madras) nawiązał współpracę z Shaip w celu gromadzenia, segmentacji i transkrypcji zbiorów danych w językach indyjskich w celu tworzenia wielojęzycznych modeli mowy.
Wyzwania
Aby pomóc klientowi w opracowaniu planu rozwoju mowy w zakresie technologii mowy dla języków indyjskich, zespół musiał pozyskać, segmentować i transkrybować duże ilości danych szkoleniowych w celu zbudowania modelu sztucznej inteligencji. Krytycznymi wymaganiami klienta były:
Gromadzenie danych
- Zdobądź 3000 godzin danych szkoleniowych w 8 językach indyjskich z 4 dialektami na język.
- Dla każdego języka dostawca będzie zbierał dane dotyczące mowy Extempore i
Mowa konwersacyjna w grupach wiekowych 18–60 lat - Zapewnij zróżnicowaną mieszankę głośników pod względem wieku, płci, wykształcenia i dialektów
- Zapewnij różnorodną mieszankę środowisk nagrywania zgodnie ze specyfikacjami.
- Każde nagranie dźwiękowe powinno mieć częstotliwość co najmniej 16 kHz, ale najlepiej 44 kHz
Segmentacja danych
- Twórz 15-sekundowe segmenty mowy i oznaczaj czasowo dźwięk w milisekundach dla każdego mówcy, rodzaju dźwięku (mowa, bełkot, muzyka, hałas), zwrotów akcji, wypowiedzi i fraz w rozmowie
- Utwórz każdy segment dla docelowego sygnału dźwiękowego z dopełnieniem 200–400 milisekund na początku i na końcu.
- Dla wszystkich segmentów należy wypełnić następujące obiekty, tj. czas rozpoczęcia, czas zakończenia, identyfikator segmentu, poziom głośności, typ dźwięku, kod języka, identyfikator głośnika itp.
Transkrypcja danych
- Postępuj zgodnie ze szczegółowymi wskazówkami dotyczącymi transkrypcji dotyczącymi znaków i symboli specjalnych, pisowni i gramatyki, wielkich liter, skrótów, skurczów, poszczególnych liter mówionych, cyfr, znaków interpunkcyjnych, akronimów, niepłynności, mowy, niezrozumiałej mowy, języków innych niż docelowe, braku mowy itp.
Kontrola jakości i informacje zwrotne
- Wszystkie nagrania zostaną poddane ocenie i weryfikacji jakości, wygłaszane będą wyłącznie zatwierdzone przemówienia
Rozwiązanie
Dzięki naszej dogłębnej wiedzy na temat sztucznej inteligencji konwersacyjnej pomogliśmy klientowi zebrać, posegmentować i przepisać dane przy pomocy zespołu ekspertów w zakresie kolekcjonowania, lingwistów i adnotacji, tworząc obszerny korpus danych audio w 8 językach indyjskich.
Zakres prac Shaip obejmował między innymi pozyskiwanie dużych ilości danych szkoleniowych audio, segmentowanie nagrań audio na wiele części, transkrypcję danych i dostarczanie odpowiednich plików JSON zawierających metadane [Identyfikator mówcy, wiek, płeć, język, dialekt, język ojczysty, kwalifikacje, zawód, domena, format pliku, częstotliwość, kanał, rodzaj dźwięku, liczba mówców, liczba języków obcych, użyta konfiguracja, dźwięk wąskopasmowy lub szerokopasmowy itp.].
Shaip zebrał 3000 godzin danych audio na dużą skalę, zachowując jednocześnie pożądany poziom jakości wymagany do szkolenia technologii mowy na potrzeby złożonych projektów. Od każdego z uczestników pobrano formularz wyraźnej zgody.
1. Zbieranie danych
2. Segmentacja danych
- Zebrane dane audio podzielono następnie na segmenty mowy trwające po 15 sekund każdy i oznaczono je znacznikami czasu z dokładnością do milisekund dla każdego mówcy, rodzaju dźwięku, zwrotów, wypowiedzi i fraz w rozmowie.
- Utworzono każdy segment dla docelowego sygnału dźwiękowego z dopełnieniem 200–400 milisekund na początku i na końcu sygnału dźwiękowego.
- Dla wszystkich segmentów obecne i wypełnione były następujące obiekty, tj. godzina rozpoczęcia, godzina zakończenia, identyfikator segmentu, poziom głośności (głośny, normalny, cichy), podstawowy typ dźwięku (mowa, bełkot, muzyka, hałas, nakładanie się), kod języka Głośnik Identyfikator, transkrypcja itp.
3. Kontrola jakości i informacje zwrotne
- Wszystkie nagrania zostały ocenione pod kątem jakości i dostarczono jedynie zatwierdzone nagrania mowy z WER wynoszącym 90% i TER wynoszącym 90%.
- Zastosowana lista kontrolna jakości:
» Maks. 15 sekund długości segmentu
» Transkrypcja z określonych domen, a mianowicie: Pogoda, różne rodzaje wiadomości, zdrowie, rolnictwo, edukacja, praca czy finanse
» Niski poziom hałasu w tle
» Brak przycinania dźwięku – brak zniekształceń
» Poprawna segmentacja audio na potrzeby transkrypcji
4. Transkrypcja danych
Wszystkie wypowiadane słowa, w tym wahania, słowa uzupełniające, falstarty i inne tiki werbalne, zostały dokładnie uchwycone w transkrypcji. Postępowaliśmy również zgodnie ze szczegółowymi wytycznymi dotyczącymi transkrypcji dotyczącymi wielkich i małych liter, pisowni, wielkich liter, skrótów, skróceń, cyfr,
interpunkcja, akronimy, niepłynna mowa, dźwięki inne niż mowa itp. Ponadto przebieg pracy w przypadku gromadzenia i transkrypcji jest następujący:
Wynik
Wysokiej jakości dane dźwiękowe od ekspertów lingwistów umożliwią Indyjskiemu Instytutowi Technologii w Madrasie dokładne przeszkolenie i zbudowanie wielojęzycznych modeli rozpoznawania mowy w 8 językach indyjskich z różnymi dialektami w określonym czasie. Modele rozpoznawania mowy można wykorzystać do:
- Pokonaj barierę językową na rzecz włączenia cyfrowego, udostępniając obywatelom inicjatywy w ich własnym języku ojczystym.
- Promuje zarządzanie cyfrowe
- Katalizator tworzący ekosystem usług i produktów w językach indyjskich
- Bardziej zlokalizowane treści cyfrowe w domenach interesu publicznego, w szczególności zarządzania i polityki
Byliśmy pod wrażeniem kompetencji Shaipa w dziedzinie sztucznej inteligencji konwersacyjnej. Ich kompetencje w zakresie realizacji projektu, od pozyskiwania, segmentacji, transkrypcji i dostarczania wymaganych danych szkoleniowych od ekspertów językowych w 8 językach, były imponujące, zgodnie z rygorystycznymi harmonogramami i wytycznymi, przy jednoczesnym zachowaniu akceptowalnego standardu jakości.
