Zsynchronizowane dane wieloczujnikowe dla fizycznej sztucznej inteligencji
Zsynchronizowane strumienie wideo, IMU, dźwięku, wzroku i urządzeń noszonych umożliwiają fuzję czujników i multimodalne wstępne trenowanie fizycznej sztucznej inteligencji. Zdefiniuj konfigurację czujników z Shaip.
Specyfikacje zestawu danych
| Zespoły kupujących docelowych | Lider ds. multimodalnej sztucznej inteligencji; Platforma danych robotyki; Zespół ds. łączenia czujników; Badania nad ucieleśnioną sztuczną inteligencją |
| Zadania reprezentatywne | Codzienne czynności, procedury przemysłowe, wzorce ruchu i wieloetapowe przepływy pracy |
| Przechwytywanie / Modalności | RGB/RGB-D, IMU, śledzenie dźwięku, wzroku, głowy/rąk/ciała i opcjonalne dane biometryczne |
| Adnotacje / Metadane | Wyrównanie znaczników czasu, etykiety aktywności, kluczowe kroki, metadane urządzenia, metadane tematu i flagi jakości |
| Formaty dostaw | MP4 + WAV + CSV/Parquet + metadane kalibracji i synchronizacji czasu |
| Skala (ilustracyjna)* | 1,000–8,000 godzin synchronizacji |
| Uczestnicy / Operatorzy | 500–3,000 uczestników |
| Zadania / Scenariusze | 50–200 aktywności |
| Obiekty / Miejsca / Widoki | 4–7 strumieni czujników |
| Zalecany zakres zaangażowania | 100–300 godzin z 3–5 czujnikami w ramach 10–25 aktywności |
Program Physical AI firmy Shaip wykorzystał na dużą skalę przepływ pracy obejmujący śledzenie pięciu czujników.
Zobacz powiązane studium przypadku →Gdzie używany jest ten zestaw danych
Ten multimodalny zbiór danych o aktywności człowieka został stworzony dla zespołów trenujących modele fuzji czujników, systemy rozpoznawania aktywności oraz multimodalne podstawy fizycznej sztucznej inteligencji (PSI). Firmy robotyczne, producenci urządzeń noszonych i laboratoria ucieleśnionej sztucznej inteligencji (EMU) wykorzystują go jako zbiór danych o aktywności RGB-D, zbiór danych o rozpoznawaniu aktywności IMU oraz zbiór danych o czujnikach noszonych do międzymodalnego treningu wstępnego, szacowania stanu człowieka i percepcji uwzględniającej kontekst. Jeśli szukasz zbioru danych fuzji czujników lub multimodalnych danych robotyki ze zsynchronizowanymi strumieniami wideo, IMU, audio, ruchu gałek ocznych i urządzeń noszonych, ten zbiór danych dostarcza zsynchronizowane w czasie sygnały gotowe do trenowania modeli multimodalnych.
Powiązane zestawy danych fizycznej sztucznej inteligencji
Poproś o próbkę zbioru danych o aktywności człowieka z wielu czujników
Opowiedz nam o produkcie robota lub systemie fizycznej sztucznej inteligencji, który budujesz, a my odpowiemy, udostępniając Ci dostęp do próbek, specyfikacje i propozycję dopasowaną do Twojego zadania.
„ * ” oznacza pola wymagane