Licencjonowanie gotowych danych obrazu twarzy i wideo
Gotowe zestawy danych do rozpoznawania twarzy do szkolenia modeli AI
Wykorzystanie etycznie pozyskiwanych, zróżnicowanych demograficznie zestawów danych w celu przyspieszenia szkolenia modeli sztucznej inteligencji i ograniczenia stronniczości wiodącego globalnego konglomeratu technologicznego.
Przegląd projektu
Klient chciał przyspieszyć Rozwój rozpoznawania twarzy oparty na sztucznej inteligencji bez konieczności przechodzenia przez długie i kosztowne cykle gromadzenia danych. Aby to osiągnąć, potrzebowali gotowe do użycia zestawy danych które nie były tylko duże i różnorodne, Ale pozyskiwane w sposób etyczny i zgodne z globalnymi przepisami dotyczącymi ochrony prywatności danych.
Shaip dostarczył kompleksowe zestawy danych z kontrolowanymi zmianami oświetlenia, pozycji głowy, okluzji i emocji, umożliwiając modelom klienta osiągnięcie zarówno dokładności, jak i uczciwości, przy jednoczesnym spełnieniu wymaganych kryteriów etnicznych i demograficznych. Każdy zestaw danych zawierał szczegółowe metadane, adnotacje dotyczące pozycji oraz pola ograniczające do rozpoznawania emocji, co pozwoliło na trenowanie i testowanie modeli w bardzo zróżnicowanych, rzeczywistych scenariuszach.
Kluczowe statystyki
Ponad 7,000 tematów
w zestawie danych historycznych zawierającym ponad 300 000 obrazów i 2,000 filmów wideo.
Ponad 10,000 tematów
w zestawie danych Multi-Angle Emotion Dataset.
Obrazy 74,880
w Oświetleniu
Zbiór danych o zmiennościach.
Obrazy 18,600
obejmujący sześć
podstawowe emocje.
Zakres projektu
Klient wymagał duże, etycznie pozyskiwane i zróżnicowane demograficznie zbiory danych dotyczących wizerunku twarzy i nagrań wideo w celu wspierania rozwoju i szkolenia modeli rozpoznawania twarzy. Te zbiory danych były niezbędne do zasilania przypadków użycia w systemy anty-spoofingowe, weryfikacji tożsamości, dopasowywania obrazów i analizy ekspresji, zapewniając solidną i obiektywną wydajność sztucznej inteligencji w zastosowaniach rzeczywistych.
Zakres zaangażowania obejmował:
- Dostarczam wyselekcjonowane zestawy danych Zaprojektowane do zastosowań związanych z rozpoznawaniem twarzy, takich jak zapobieganie podszywaniu się, weryfikacja tożsamości i rozpoznawanie wyrazów twarzy.
- Zapewnienie obrazy i filmy ze szczegółowymi adnotacjami pod kątem danych demograficznych, pozycji głowy, okluzji, rodzaju oświetlenia i emocji.
- zapewnienie zrównoważone pokrycie demograficzne w celu zmniejszenia systemowych uprzedzeń w szkoleniach.
- Gwarantowanie zgodność i zgoda z globalnymi standardami ochrony danych i prywatności.
Przykładowe wkłady do zbioru danych:
- Historyczny zbiór danych (~7,000 obiektów): ponad 300 000 zdjęć i 2,000 filmów z różnymi pozami i ustawieniami zwarcia.
- Zestaw danych emocji wielokątnych (~10 000 osób): 15–20 zdjęć na osobę, pod różnymi kątami i odzwierciedlających jej stan emocjonalny.
- Zestaw danych Six Emotions (~3,100 tematów): 18 600 opisanych obrazów przedstawiających podstawowe ludzkie zachowania.
- Zestaw danych o zmienności oświetlenia (~468 obiektów): 74 880 zdjęć w dziewięciu warunkach oświetleniowych.
Wyzwania
Projekt zajął się najważniejszymi wyzwaniami, z jakimi często spotykamy się przy budowaniu solidnych modeli sztucznej inteligencji:
Błąd w modelach AI
Zapobieganie nadreprezentacji określonych grup etnicznych lub płci w celu zapewnienia sprawiedliwości.
Zmienność w świecie rzeczywistym
Rejestrowanie warunków oświetleniowych, kątów twarzy, okluzji i naturalnych wyrazów twarzy.
Skala i jakość
Dostarczamy setki tysięcy obrazów o wysokiej rozdzielczości, nie rezygnując z różnorodności.
Zgodność z przepisami
Spełnienie rygorystycznych globalnych wymagań dotyczących prywatności i ochrony danych za pełną zgodą uczestników.
Rozwiązanie
Shaip wdrożył ustrukturyzowane podejście aby zapewnić jakość i trafność zbioru danych:
- Wyselekcjonowane, zrównoważone zestawy danych z szeroką reprezentacją etniczną, płciową i wiekową.
- Schwytany pozy wielokątne i wariacje oświetlenia aby odtworzyć warunki rzeczywiste.
- W dodatku szczegółowe adnotacje (np. pozycja głowy, okluzje, emocje) w celu zwiększenia użyteczności zbioru danych.
- Ustanowiono ścisłe przepływy pracy kontroli jakości i zgodności aby zagwarantować etyczne pozyskiwanie materiałów i przestrzeganie zasad prywatności.
Portfolio zbiorów danych
| Dataset | objętość | Demografia / Różnorodność | Normy / Specyfikacje |
|---|---|---|---|
| Historyczny zbiór danych obrazu twarzy i nagrań wideo (~7,000 osób) | 7,000 zdjęć z rejestracji; ponad 300 000 zdjęć historycznych; 2,000 filmów (1 wewnątrz + 1 na zewnątrz na 1,000 osób) | Pochodzenie etniczne: Czarni (35%), Wschodnioazjaci (42%), Południowoazjaci (13%), Biali (10%); Płeć: 50% mężczyźni / 50% kobiety; Wiek: Dorośli 18+ (ostatnie 10 lat) | Czas trwania filmu: 1–2 min; Wariacja pozycji głowy (P1–P7); 5 typów okluzji (O0–O4) |
| Zbiór danych o obrazach twarzy (~5,000 osób) | 35 zdjęć na temat; 2,500 Hindusów; 1,000 Azjatów; 1,500 Czarnych | Wiek: 18–60 lat; Zrównoważony rozkład płci | Brak upiększania; Zróżnicowane tła i ubrania; Minimalna rozdzielczość: 960×1280 |
| Zbiór danych o emocjach wieloaspektowych (~10 000 osób – język chiński) | 15–20 zdjęć na obiekt; Pozy: z przodu, z lewej, z prawej (30°–60°); Wyrazy twarzy: uśmiech, otwarte usta, smutek, poważny, neutralny | Pochodzenie etniczne: chińskie; Wiek: 18–26; Płeć: 50/50 | Rozdzielczość: 2160×3840 pikseli lub wyższa |
| Zbiór danych dotyczący sześciu ludzkich emocji (~3,100 osób) | 6 obrazów na temat (różne wyrażenia); łącznie 18 600 obrazów | Pochodzenie etniczne: Japończycy (9,000), Koreańczycy (2,400), Chińczycy (2,400), Azjaci Południowo-Wschodni (2,400), Azjaci Południowi (2,400); Wiek: 20–65 lat | Adnotacje w ramkach ograniczających emocje; Proste tła; Bez kapeluszy, okularów i przeszkód |
| Zbiór danych o zmienności oświetlenia (~468 osób z Indii) | 160 zdjęć na temat; Łącznie: 74 880 zdjęć | Wiek: 20–70 lat; 70% mężczyzn | 9 warunków oświetleniowych (wewnątrz, na zewnątrz, światło boczne, światło tylne, neon itp.) |
| Zestaw danych o obrazach twarzy osób wieloetnicznych (~600 osób) | 3,752 obrazów w sumie | Pochodzenie etniczne: Afrykańskie, bliskowschodnie, rdzenne Amerykanie, Azjaci Południowi, Azjaci Południowo-Wschodni; Wiek: 20–70 lat | - |
Wynik
Współpraca przyniosła znaczące efekty biznesowe i techniczne:
- Poprawiona dokładność modelu:Większa precyzja i przypominanie modeli rozpoznawania twarzy w wielu przypadkach użycia.
- Redukcja odchyleń:Zrównoważona reprezentacja demograficzna zmniejszyła stronniczość systemową w wynikach sztucznej inteligencji.
- Przyspieszone harmonogramy rozwojuGotowe zestawy danych umożliwiły szybkie prototypowanie i trenowanie modeli bez konieczności długotrwałego zbierania danych.
- Zgodność z przepisami:Wszystkie zbiory danych spełniają globalne standardy prywatności i uwzględniają zgodę uczestników.
Zróżnicowane, etycznie pozyskiwane zbiory danych Shaip zapewniły nam niezbędną szybkość, jakość i zgodność z przepisami. Dzięki gotowym do użycia danym przyspieszyliśmy szkolenie modeli AI i znacząco zredukowaliśmy błędy systemowe.
