Adnotacja pola ograniczającego 3D LiDAR dla autonomicznej jazdy
W jaki sposób Shaip dostarczył precyzyjną adnotację trójwymiarowych prostopadłościanów ograniczających w 14 klasach obiektów z ok. 53 polami na klatkę na podstawie danych z chmury punktów pojedynczej klatki — skalibrowanych na podstawie obrazów 2D w celu zapewnienia percepcji pojazdów autonomicznych w skali produkcyjnej.
Przegląd projektu
Wraz z wdrażaniem autonomicznej percepcji jazdy w produkcji klient potrzebował wysoce wyspecjalizowanego procesu adnotacji 3D LiDAR, który umożliwiałby umieszczanie precyzyjnych prostopadłościennych pól ograniczających o gęstości wymaganej dla rzeczywistych danych szkoleniowych AV — z etykietowaniem wieloatrybutowym i kalibracją obrazu 2D.
Shaip zbudował kompleksowy proces adnotacji obejmujący rozmieszczanie trójwymiarowych prostopadłościanów, wymuszanie domyślnego rozmiaru, etykietowanie wielu atrybutów, obsługę skrajnych przypadków środowiskowych i walidację obrazu referencyjnego — dostarczając gotowe do użycia w modelu zestawy danych percepcji AV w 14 klasach obiektów.
Status klucza
Klasy obiektów
14
Liczba pudełek na ramkę
~ 53
Warstwy atrybutów
5
Poziomy okluzji
4
Wyzwania
- wprowadzanie ~53 trójwymiarowe prostopadłościenne pudełka na klatkę z precyzyjnym, ciasnym dopasowaniem do krawędzi chmury punktów
- Prowadzenie 14 klas obiektów przez pojazdy, pieszych, zwierzęta i obiekty ruchome
- Pracujący jednocześnie z obrazami kalibracyjnymi 2D i chmurą punktów 3D dane
- Zarządzający chmury punktów widmo, odbicia na ziemi, mgła, mgiełka i rozpryski wody
- Egzekwowanie domyślne wymiary rozmiaru dla każdej klasy dla spójności między klatkami
Rozwiązanie
Proces rozmieszczania prostopadłościanów 3D
Adnotatorzy umieszczali precyzyjne, prostopadłościenne, trójwymiarowe pola ograniczające na danych z chmury punktów w pojedynczych klatkach, jednocześnie z 2D obrazem odniesienia kalibracji. Każda klasa miała zdefiniowane domyślne wymiary pól ograniczających, aby zapewnić spójność rozmiarów w różnych klatkach — samochody 3.4–5.1 m, ciężarówki 3.4–14 m, piesi 0.4–1.2 m szerokości.
Etykietowanie wieloatrybutowe
Oprócz umieszczenia pola ograniczającego, każdy opisany obiekt otrzymał etykiety atrybutów obejmujące stan pojazdu (jazda/zaparkowany), stan pojazdu dwukołowego (z rowerzystą/bez rowerzysty), stan pieszego (stojący/siedzący/leżący), stan zasłonięcia (4 poziomy: brak, częściowe, całkowite, całkowite) i stan kończyn (wystające obiekty, otwarte drzwi, przymocowany sprzęt).
Obsługa skrajnych przypadków środowiskowych
Surowe zasady regulowały adnotację silnie zasłoniętych lub oddalonych obiektów, chmur punktów widmowych spowodowanych błędną kalibracją podwójnego LiDAR-u, odbić od podłoża oraz szumów otoczenia pochodzących z rozprysków wody, mgły i mgiełki. Wyraźnie wykluczono lusterka boczne, otwarte drzwi, ramiona dźwigu, bagażniki dachowe i bagaże dla pieszych; uwzględniono syreny alarmowe i skrzynie ładunkowe ciężarówek.
Walidacja ścisłego dopasowania
Wymagano, aby pola ściśle przylegały do krawędzi chmury punktów, z minimalnymi widocznymi przerwami. Orientację zweryfikowano za pomocą danych kalibracyjnych i kontekstu pasa ruchu, gdzie chmury punktów były niejednoznaczne. Sceny nocne i deszczowe traktowano tak samo jak w warunkach dziennych, aby zapewnić spójność adnotacji.
Wielomodalne zapewnianie jakości
Wszystkie adnotacje zostały zweryfikowane na podstawie referencyjnych obrazów 2D w celu weryfikacji poprawności rozmiaru i orientacji. Ta międzymodalna warstwa kontroli jakości (QA) wychwyciła rozbieżności, które nie byłyby widoczne z samej chmury punktów, zapewniając dokładność na poziomie produkcyjnym w dalszym szkoleniu modelu percepcji AV.
Zakres projektu
| Typ zbioru danych | Zajęcia | Pudełka/Ramki | Atrybuty | Poziomy okluzji | Walidacja |
|---|---|---|---|---|---|
| Percepcja 3D LiDAR AV | 14 | ~53 średnio | 5 warstw atrybutów | 4 (0–100%) | Kontrola krzyżowa obrazu 2D |
Wyniki
- Założona gęsty proces adnotacji 3D LiDAR z ~53 polami na klatkę przy dokładności produkcyjnej
- znormalizowane 14-klasowa ontologia obiektów z wymuszaniem domyślnego rozmiaru dla każdej klasy
- Dostarczany 5 warstw atrybutów w tym 4-stopniowa klasyfikacja okluzji
- Zaimplementowane międzymodalne zapewnianie jakości walidacja pudełek 3D na podstawie obrazów kalibracyjnych 2D
- Włączono klienta percepcja pojazdów autonomicznych, ADAS i jazda autonomiczna model szkolenia
Ogólnie rzecz biorąc, Shaip pomógł przekształcić złożone wymagania dotyczące percepcji 3D LiDAR w ustrukturyzowany, gotowy do produkcji proces adnotacji — taki, który obsługuje autonomiczne prowadzenie pojazdów, ADAS, robotaksówki i rozwój autonomicznych ciężarówek z dokładnością na poziomie kalibracji w trudnych warunkach rzeczywistych.
Shaip poradził sobie z przypadkami brzegowymi AV, które zakłócają większość procesów adnotacji – mgłą, chmurami punktów widmo, gęstą okluzją i ~53 polami na klatkę. Ich walidacja krzyżowa 2D-3D dostarczyła nam zaufanych danych do treningu percepcji.
