Transformacja rozumienia scenerii kolejowej dzięki LiDAR i adnotacjom 2D
Dowiedz się, w jaki sposób usługi Shaip w zakresie LiDAR, kamer i adnotacji danych 2D pomagają modelom AI wykrywać obiekty, rozumieć otoczenie kolejowe i poprawiać postrzeganie autonomicznej mobilności.
Przegląd projektu
Nowoczesne systemy percepcji kolejowej wymagają czegoś więcej niż tylko ogólnego etykietowania obiektów. Wymagają one kontekstu specyficznego dla danej kolei, dokładnej geometrii i niezawodnej spójności danych między sensorami w chmurach punktów LiDAR i zsynchronizowanych widokach kamer.
Aby sprostać temu zapotrzebowaniu, firma Shaip została zaangażowana do projektu adnotacji danych kolejowych LiDAR, obejmującego sceny infrastruktury kolejowej. Zakres projektu obejmował adnotację chmur punktów LiDAR, wspieranych przez pięć zsynchronizowanych obrazów referencyjnych 2D na scenę, z wykorzystaniem taksonomii 29 klas z obowiązkowymi i opcjonalnymi.
atrybuty dla każdej klasy.
Celem było stworzenie ustrukturyzowanego zbioru danych o kontrolowanej jakości, który umożliwiałby szkolenie i walidację modeli percepcji kolei pod kątem wykrywania obiektów, rozumienia otoczenia, świadomości torów i interpretacji infrastruktury.
Kluczowe statystyki
Konfiguracja czujnika
Chmura punktów LiDAR
Systematyka
29 klas specyficznych dla kolei
Cele jakościowe
≥99% ogólnej dokładności adnotacji
Spójność między czujnikami
≥99% LiDAR – wyrównanie 2D
Wyzwania
- Spójne adnotowanie scen pociągów multimodalnych w obrazach LiDAR i 2D
- Zarządzanie specyficzną dla kolei taksonomią 29 klas ze szczegółowymi atrybutami i relacjami między obiektami
- Zachowanie spójności między sensorami adnotacji 3D i 2D
- Zachowanie precyzji geometrycznej w przypadku konstrukcji liniowych, takich jak tory i kable
- Spełnienie rygorystycznych progów dokładności dla etykiet klas, geometrii i atrybutów w środowisku pilotażowym
Rozwiązanie
Shaip zaprojektował ukierunkowany na kolej proces adnotacji dostosowany do technicznych wymagań projektu.
Strategia danych
Zdefiniowano multimodalny proces adnotacji obejmujący dane chmury punktów LiDAR i pięć zsynchronizowanych obrazów odniesienia 2D na klatkę LiDAR.
Struktura adnotacji
Zastosowano wiele metod adnotacji w oparciu o typ obiektu i strukturę sceny:
- Adnotacja 3D sześciennych obiektów dyskretnych
- Adnotacja polilinii 3D dla liniowych struktur związanych z koleją
- Dwuwymiarowe pole ograniczające do lokalizacji obiektów na obrazach
- Wielokąt 2D dla nieregularnych granic obiektów
- Polilinia 2D dla szyn, kabli i oznaczeń
- Prostopadłościan 3D w widokach 2D, w których wymagany był kontekst orientacji i głębokości
Projekt taksonomii specyficznej dla kolei
Dodano adnotacje do 29 predefiniowanych klas obejmujących ludzi, przedmioty osobiste, pojazdy, pociągi, wagony, zwierzęta, tory, zwrotnice, słupy sieci trakcyjnej, słupy sygnalizacyjne, sygnały, mosty sygnalizacyjne, zderzaki, odblaskowe obiekty testowe i inne elementy sceny kolejowej.
Adnotacja bogata w atrybuty
Uchwycono zarówno atrybuty obowiązkowe, jak i opcjonalne, w tym:
- Poziomy okluzji
- Stan i typ
- Łączność przez connectedTo
- Identyfikatory przytorowe i torowe
- Kolejność i orientacja obiektów
- Powierzchnia sygnału, jego wygląd i właściwości strukturalne
Tożsamość i integralność relacji
Zadbano o to, aby każda adnotacja miała unikalny identyfikator adnotacji, a każdy obiekt miał unikalny identyfikator obiektu w formacie UUID, z dwukierunkowymi relacjami connectedTo w sposób uwzględniający dane z czujnika.
Reguły precyzji i kontrola jakości
Wdrożono zasady adnotacji obejmujące:
- Oszacowanie okluzji w 2D i 3D
- Próg etykietowania 2D obiektów o wysokości lub szerokości ≥25 px
- Tolerancja 2D ±3 px
- Tolerancja 3D do 10 cm
- Wyrównanie obrotu na osi Z w celu zapewnienia spójności widoku obiektu
- 3-warstwowa kontrola jakości z pętlami korekcyjnymi dla wyjść podprogowych
Zakres projektu
| Element zbioru danych | Specyfikacja |
|---|---|
| Podstawowa modalność | Dane chmury punktów LiDAR |
| Modalność referencyjna | 5 zsynchronizowanych obrazów 2D na klatkę LiDAR: 3 obrazy IR i 5 obrazów RGB |
| Całkowita liczba klas | 29 klas specyficznych dla kolei |
| Typy adnotacji 3D | Prostopadłościan 3D, Polilinia 3D |
| Typy adnotacji 2D | Pole ograniczające 2D, wielokąt 2D, polilinia 2D, prostopadłościan 3D w widokach 2D |
| Głośność pilota | 2 sekwencje |
| Standard identyfikacyjny | Identyfikator adnotacji oparty na UUID i identyfikator obiektu |
| Cele dokładności | ≥99% ogółu, ≥99% atrybutu, ≥99% spójności między czujnikami |
Przykładowy zakres klas
| Kategoria | Przykładowe klasy | Typ adnotacji |
|---|---|---|
| Ludzie i mobilność | osoba, wózek inwalidzki, skuter, rower, tłum | 2D BB / wielokąt 4-punktowy / 3D BB |
| Aktywa kolejowe | pociąg, przód pociągu, wagony, tor, zwrotnica, stopa hamulca | kontur wielokąta / polilinii / 3D BB |
| Sygnalizacja i napowietrzne | sygnał, biegun_sygnałowy, most_sygnałowy, biegun_łańcuchowy | 2D BB / kontur wielokąta / 3D BB |
| Środowisko i inne | pojazd_drogowy, zwierzę, grupa_zwierząt, odblaskowe_obiekty_testowe, dym, płomień | zróżnicowane w zależności od klasy |
Wyniki
- Utworzono multimodalne ramy adnotacji specyficzne dla kolei dla danych LiDAR i obrazów
- Zdefiniowano 29-klasową taksonomię kolejową ze szczegółową obsługą atrybutów
- Ustaw standardy jakości na poziomie ≥99% w zakresie dokładności adnotacji, atrybutów i spójności między czujnikami
- Stworzono fundament gotowy do pilotażu, umożliwiający budowę modeli percepcji kolei o wysokiej niezawodności
Strategicznie rzecz biorąc, projekt ten zapewnia systemom AI pociągów klienckich lepsze zrozumienie scen w środowiskach kolejowych, w których geometria, ciągłość obiektów i kontekst infrastruktury mają kluczowe znaczenie.
Multimodalne podejście Shaipa do adnotacji pomogło nam ustrukturyzować wysoce wyspecjalizowany zbiór danych kolejowych z precyzją niezbędną do opracowania modelu percepcji. Ich nacisk na głębokość taksonomii, dokładność geometryczną i spójność między sensorami stworzył solidny fundament dla naszego systemu sztucznej inteligencji dla kolei.
