Sukces dowolnego modelu AI zależy od jakości danych wprowadzanych do systemu. Systemy ML działają na dużych ilościach danych, ale nie można oczekiwać, że będą działać z dowolnymi danymi. Musi być wysokiej jakości dane treningowe AI. Jeśli dane wyjściowe z modelu AI muszą być autentyczne i dokładne, nie trzeba dodawać, że dane do trenowania systemu powinny być na wysokim poziomie.
Dane, na których trenowane są modele AI i ML, powinny być najwyższej jakości, aby firma mogła czerpać z nich znaczące i istotne informacje. Jednak pozyskiwanie ogromnych ilości heterogenicznych danych stanowi wyzwanie dla firm.
Firmy powinny polegać na dostawcach takich jak Shaip, którzy wdrażają w swoich procesach rygorystyczne środki zarządzania jakością danych, aby sprostać temu wyzwaniu. Dodatkowo w Shaip podejmujemy również ciągłą transformację naszych systemów, aby sprostać zmieniającym się wyzwaniom.
Wprowadzenie do zarządzania jakością danych firmy Shaip
W Shaip rozumiemy znaczenie wiarygodnych danych treningowych i ich rolę w opracowywaniu modeli ML oraz wyników rozwiązań opartych na sztucznej inteligencji. Oprócz sprawdzania umiejętności naszych pracowników, w równym stopniu koncentrujemy się na rozwijaniu ich bazy wiedzy i rozwoju osobistym.
Przestrzegamy ścisłych wytycznych i standardowych procedur operacyjnych wdrożonych na wszystkich poziomach procesu, aby nasze dane szkoleniowe spełniały kryteria jakości.
Zarządzanie jakością
Nasz przepływ pracy zarządzania jakością odegrał kluczową rolę w dostarczaniu modeli uczenia maszynowego i sztucznej inteligencji. Dzięki sprzężeniu zwrotnemu nasz model zarządzania jakością jest naukowo sprawdzoną metodą, która odegrała kluczową rolę w pomyślnej realizacji kilku projektów dla naszych klientów. Nasz proces kontroli jakości przebiega w następujący sposób.
- Przegląd umowy
- Utwórz listę kontrolną audytu
- Pozyskiwanie dokumentów
- Pozyskiwanie audytu 2-warstwowego
- Moderacja tekstu adnotacji
- Adnotacja Audyt 2-warstwowy
- Dostawa pracy
- Opinie klientów
Wybór i wdrażanie pracowników Crowdsource
Nasza rygorystyczna selekcja pracowników i proces onboardingu wyróżniają nas na tle konkurencji. Podejmujemy się precyzyjnego procesu selekcji, aby na podstawie listy kontrolnej jakości zaangażować tylko najbardziej wykwalifikowanych adnotatorów. Rozważamy:
- Wcześniejsze doświadczenie jako moderatora tekstu, aby upewnić się, że ich umiejętności i doświadczenie odpowiadają naszym wymaganiom.
- Wydajność w poprzednich projektach, aby zapewnić ich produktywność, jakość i wydajność odpowiadały potrzebom projektu.
- Rozległa wiedza domenowa jest niezbędna do wyboru konkretnego pracownika dla określonej branży.
Nasz proces selekcji na tym się nie kończy. Pracowników poddajemy próbnemu testowi adnotacji, aby zweryfikować ich kwalifikacje i wydajność. Zostaną wybrane na podstawie wyników w badaniu, analizy niezgodności oraz pytań i odpowiedzi.
Po wybraniu pracowników przejdą gruntowną sesję szkoleniową z wykorzystaniem SOW Projektu, wytycznych, metod pobierania próbek, samouczków i nie tylko, w zależności od potrzeb projektu.
Lista kontrolna gromadzenia danych
Wprowadzane są dwuwarstwowe kontrole jakości, aby zapewnić tylko wysokiej jakości dane treningowe przechodzi do następnego zespołu.
Poziom 1: Kontrola zapewnienia jakości
Zespół QA firmy Shaip przeprowadza kontrolę jakości na poziomie 1 dla zbierania danych. Sprawdzają wszystkie dokumenty i są szybko sprawdzane pod kątem niezbędnych parametrów.
Poziom 2: Kontrola krytycznej analizy jakości
Zespół CQA składający się z akredytowanych, doświadczonych i wykwalifikowanych pracowników oceni pozostałe 20% próbek retrospektywnych.
Niektóre z pozycji listy kontrolnej jakości pozyskiwania danych obejmują:
- Czy źródło adresu URL jest autentyczne i czy umożliwia przeszukiwanie sieci danych?
- Czy istnieje różnorodność na krótkiej liście adresów URL, aby można było uniknąć stronniczości?
- Czy treść została zweryfikowana pod kątem trafności?
- Czy treść zawiera kategorie moderacji?
- Czy objęte są domeny priorytetowe?
- Czy źródło typu dokumentu ma na uwadze dystrybucję typu dokumentu?
- Czy każda klasa moderacji zawiera płytę o minimalnej objętości?
- Czy przestrzegany jest proces sprzężenia zwrotnego?
Lista kontrolna adnotacji danych
Podobnie jak w przypadku zbierania danych, mamy również dwie warstwy listy kontrolnej jakości do adnotacji danych.
Poziom 1: Kontrola zapewnienia jakości
Proces ten zapewnia, że 100% dokumentów jest poprawnie weryfikowanych pod kątem parametrów jakościowych ustalonych przez zespół i klienta.
Poziom 2: Kontrola krytycznej analizy jakości
Proces ten zapewnia, że 15 do 20% próbek retrospektywnych jest również walidowanych i zapewniana jakość. Ten krok jest podejmowany przez wykwalifikowany i doświadczony zespół CQA z minimum 10-letnim doświadczeniem w zarządzaniu jakością i posiadaczami Black Belt.
Zespół CQA zapewnia,- Spójność w moderacji tekstu przez użytkowników
- Sprawdzenie, czy dla każdego dokumentu zastosowano prawidłowe frazy i klasy moderacji
- Sprawdzanie metadanych
Zapewniamy również codzienną informację zwrotną na podstawie Analiza Pareto aby zapewnić, że ich wydajność jest na równi z wymaganiami klienta.
Wprowadziliśmy kolejną warstwę analizy wydajności, aby skupić się na najmniej skutecznych adnotatorach za pomocą zarządzania dolnym kwartylem. Przed ostateczną dostawą zapewniamy również wykonanie próbnych kontroli higienicznych.
Próg parametru
W zależności od wytycznych projektowych i wymagań klienta mamy próg parametrów od 90 do 95%. Nasz zespół jest wyposażony i doświadczony, aby zastosować jedną z poniższych metod w celu zapewnienia wyższych standardów zarządzania jakością.
- F1 Score lub F Measure – aby ocenić wyniki dwóch klasyfikatorów – 2* ((Precyzja * Przywołanie)/ (Precyzja + Przywołanie))
- Metoda DPO lub Dfects per Opportunity jest obliczana jako stosunek defektów podzielony przez możliwości.
Przykładowa lista kontrolna audytu
Przykładowa lista kontrolna audytu Shaip to kompletna procedura dostosowywania, którą można dostosować do wymagań projektu i klienta. Może być modyfikowany na podstawie informacji zwrotnej od klienta i sfinalizowany po wnikliwej dyskusji.
- Sprawdzanie języka
- Sprawdzanie adresu URL i domeny
- Kontrola różnorodności
- Objętość na język i klasę moderacji
- Ukierunkowane słowa kluczowe
- Typ dokumentu i trafność
- Sprawdzanie toksycznych fraz
- Sprawdzanie metadanych
- Kontrola spójności
- Sprawdzanie klasy adnotacji
- Wszelkie inne obowiązkowe kontrole zgodnie z preferencjami klienta
Zespół CQA zapewnia,Podejmujemy rygorystyczne środki w celu utrzymania standardów jakości danych, ponieważ rozumiemy, że wszystkie modele oparte na sztucznej inteligencji są oparte na danych. I mając wysokiej jakości dane treningowe jest niezbędny we wszystkich modelach sztucznej inteligencji i uczenia maszynowego. Rozumiemy znaczenie jakości danych szkoleniowych i ich znaczenie dla wydajności i sukcesu modeli AI.