LiDAR multimodalny kolejowy i adnotacja 2D
W jaki sposób Shaip zrealizował jeden z projektów o największej różnorodności typów adnotacji w dziedzinie sztucznej inteligencji w kolejnictwie — łącząc obrazy z kamer 2D i chmury punktów LiDAR 3D w ponad 39 klasach obiektów i 8 różnych typach etykiet w celu zasilania autonomicznych systemów percepcji pociągów i bezpieczeństwa kolei.
Przegląd projektu
Wraz z wdrażaniem autonomicznej percepcji pociągów w fazie produkcyjnej klient potrzebował rozbudowanego, multimodalnego systemu adnotacji, który byłby w stanie oznaczać całe środowisko kolejowe zarówno na podstawie obrazów z kamer 2D, jak i danych z chmury punktów LiDAR 3D, z zachowaniem spójnej dokładności przestrzennej.
Shaip zbudował kompleksowy, multimodalny system adnotacji obejmujący 8 różnych typów etykiet, ponad 39 klas obiektów i ponad 25 klasyfikacji stanu sygnałów w systemach sygnałowych H/V i Ks — dostarczając zweryfikowane krzyżowo, gotowe do modelowania zestawy danych na potrzeby autonomii kolei i sztucznej inteligencji w zakresie bezpieczeństwa.
Status klucza
Klasy obiektów
39 +
Typy adnotacji
8
Stany sygnału
25 +
Zasady
2D + 3D
Wyzwania
- Prowadzenie Adnotacja multimodalna 2D + 3D ze sprawdzoną krzyżowo spójnością przestrzenną
- Adnotacje Ponad 39 klas obiektów obejmujący ludzi, pojazdy, infrastrukturę, zwierzęta i obiekty bezpieczeństwa
- Działamy w 8 typów adnotacji — prostokąty ograniczające 2D/3D, prostopadłościany, polilinie, wielokąty
- Klasyfikacja 25+ różnych stanów sygnału przez niemieckie systemy sygnałowe H/V i Ks
- Stosowanie logika progu tłumu i ciągłej adnotacji toru pod obiektami wagonowymi
Rozwiązanie
Multimodalny kanał adnotacji
Shaip skonfigurował równoległy proces adnotacji z wykorzystaniem kamery 2D i 3D-LiDAR z walidacją krzyżową między modalnościami. Adnotatorzy pracowali jednocześnie z obydwoma źródłami danych, aby zapewnić spójność przestrzenną, a stany okluzji oceniano wyłącznie na podstawie danych z chmury punktów, a nie obrazów 2D.
39+ Ontologia klas
Ontologia adnotacji obejmowała ludzi (z podziałem na grupy wiekowe, środki wspomagające mobilność, rolę funkcjonalną, pozycję ciała, noszenie przedmiotów i atrybuty rozpraszające uwagę), pojazdy (rowery, motocykle, pojazdy drogowe według podkategorii), 18 gatunków zwierząt oraz infrastrukturę kolejową, w tym tory, zwrotnice, słupy sieci trakcyjnej, sygnalizację, przystanki buforowe, mosty sygnałowe, płozy hamulcowe i odblaskowe obiekty testowe.
Klasyfikacja stanu sygnału
Sygnały zostały opatrzone szczegółową klasyfikacją aspektów w systemach sygnalizacji H/V i Ks, obejmującą ponad 25 różnych stanów sygnału. Adnotatorzy zidentyfikowali dokładne aspekty sygnału zarówno z przodu, jak i z tyłu, rozróżniając sygnały świetlne i kształtowe w wielu niemieckich systemach sygnalizacji kolejowej.
Próg tłumu i logika grupy
Adnotacje dotyczące tłumu wymagały minimalnego progu 6 nakładających się na siebie osób przed przejściem z adnotacji indywidualnych na grupowe. Grupy rowerów i grupy zwierząt podlegały tej samej logice progowej, z zachowaniem spójnych zasad dotyczących pozycji i gatunków w obrębie grup. Dzięki temu sceny o dużym zagęszczeniu były oznaczane z wydajnością operacyjną, bez utraty szczegółowości.
Ciągła adnotacja ścieżki
Tory były adnotowane w sposób ciągły, nawet pod pociągami lub wagonami, a obszary zwrotnic i przystanki buforowe były precyzyjnie mapowane. Ta warstwa ciągłości jest niezbędna do dalszego planowania tras kolejowych i modeli wykrywania przeszkód.
Zakres projektu
| Typ zbioru danych | Zasady | Zajęcia | Typy etykiet | Stany sygnału | systemy |
|---|---|---|---|---|---|
| Percepcja środowiska kolejowego | LiDAR 2D + 3D | 39 + | 8 (prostokąty, prostopadłościany, polilinie, wielokąty) | 25 + | H/V, Ks |
Wyniki
- Założona multimodalny proces adnotacji 2D + 3D LiDAR dla autonomicznej percepcji pociągu
- znormalizowane 39+ ontologii klas obiektów obejmujący ludzi, pojazdy, zwierzęta i infrastrukturę kolejową
- Dostarczany Ponad 25 klasyfikacji stanu sygnału przez niemieckie systemy sygnałowe H/V i Ks
- Zaimplementowane logika progu tłumu i ciągłe oznaczenia torów pod wagonami
- Włączono klienta autonomiczny pociąg, bezpieczeństwo i sztuczna inteligencja wykrywająca przeszkody mapa drogowa
Ogólnie rzecz biorąc, Shaip pomógł przekształcić wymagania dotyczące percepcji kolei multimodalnych w ustrukturyzowany, gotowy do produkcji proces adnotacji — taki, który obsługuje autonomiczne działanie pociągów, sztuczną inteligencję w zakresie bezpieczeństwa kolei oraz systemy rozpoznawania sygnałów z krzyżowo walidowaną spójnością przestrzenną 2D-3D na dużą skalę.
Shaip poradził sobie ze złożonością adnotacji, której większość dostawców nie chce obsłużyć. Ponad 39 klas, 8 typów etykiet, ponad 25 stanów sygnałów, walidacja krzyżowa 2D + 3D — i dostarczyli to wszystko w ramach jednego, skoordynowanego procesu. Dzięki temu nasze modele percepcji torów kolejowych były szybciej trenowane.
