Ulepszanie modeli predykcyjnych w opiece zdrowotnej dzięki generatywnej sztucznej inteligencji
Studium przypadku dotyczące wykrywania zapalenia płuc i określania stopnia zaawansowania raka
Przegląd projektu
W szybko rozwijającej się dziedzinie opieki zdrowotnej wykorzystanie generatywnej sztucznej inteligencji, w szczególności modeli języka dużego (LLM), do przewidywania stanów chorobowych na podstawie raportów klinicznych oznacza znaczny krok naprzód. Klient, pionier w analityce zdrowotnej, rozpoczął misję udoskonalenia swoich modeli przewidywania stanów chorobowych. Wykorzystując bazę danych MIMIC CXR typu open source i włączając generatywne przewidywania sztucznej inteligencji do wstępnej analizy, a następnie ręczną walidację za pomocą Label Studio, celem było zwiększenie dokładności i niezawodności modelu w analizach raportów klinicznych, zwłaszcza raportów radiologicznych.
Wyzwania
Zintegrowanie generatywnych prognoz sztucznej inteligencji z procesami pracy w opiece zdrowotnej wiązało się z licznymi wyzwaniami:
Dostęp do danych i bezpieczeństwo
Aby zapewnić dostęp do wysokiej jakości, otwartych zbiorów danych medycznych, takich jak MIMIC-CXR, konieczne było przeprowadzenie rygorystycznego procesu akredytacji, który gwarantowałby zgodność z normami prywatności i etycznymi.
Dokładność prognoz
Początkowe wyniki uzyskane za pomocą generatywnych modeli sztucznej inteligencji czasami wykazywały niedokładności w przewidywaniu stanów chorobowych, co wymagało ręcznych kontroli w celu zwiększenia precyzji.
Identyfikacja złożonego stanu chorobowego
Dokładna klasyfikacja stanów chorobowych na podstawie skomplikowanego języka raportów klinicznych, zwłaszcza przy użyciu sztucznej inteligencji generatywnej, stanowiła poważne wyzwanie.
Jakość adnotacji
Aby zapewnić wysokiej jakości, dokładne adnotacje w narzędziu Label Studio, konieczna jest specjalistyczna wiedza i zrozumienie medycznych stanów chorobowych.
Rozwiązanie
Aby stawić czoła tym wyzwaniom, Shaip zastosował kompleksową strategię:
- Usprawniona akredytacja: Zespół szybko przeszedł proces akredytacji dostępu do MIMIC-CXR, wykazując się sprawnością i zaangażowaniem w przestrzeganie etycznych praktyk badawczych.
- Opracowanie wytycznych: Opracowano szczegółowe wytyczne dla walidatorów ręcznych, aby zapewnić spójność i jakość adnotacji prognoz LLM.
- Komentarze ekspertów dotyczące prognoz dotyczących sztucznej inteligencji: Zastosowano drobiazgową ręczną walidację i korektę prognoz LLM przy użyciu Label Studio, popartą specjalistyczną wiedzą medyczną.
- Wskaźniki wydajności: Dzięki szczegółowej analizie Shaip obliczył wskaźniki wydajności LLM, takie jak zgodność, precyzja, odwołanie i wynik F1, co umożliwiło ciągłe doskonalenie.
Wynik
- Zwiększona dokładność w przewidywaniu stanów chorobowych na podstawie raportów radiologicznych.
- oprogramowania z wysokiej jakości prawda naukowa zbiór danych na potrzeby przyszłego rozwoju produktu i oceny generatywnych prognoz AI.
- Lepsze zrozumienie identyfikacji stanu chorobowego, co umożliwia bardziej wiarygodne prognozy.
Przypadek użycia 1: Walidacja modelu uczenia maszynowego
Scenariusz: Zwiększanie dokładności przewidywania zapalenia płuc dzięki generatywnej sztucznej inteligencji W tym przypadku generatywny model sztucznej inteligencji przeszukał raporty z prześwietleń klatki piersiowej, aby wykryć objawy zapalenia płuc. Raport, w którym odnotowano „Zwiększone zmętnienie w prawym dolnym płacie, sugerujące proces zakaźny”, spowodował początkową klasyfikację „Niepewne” przez sztuczną inteligencję ze względu na niejednoznaczne sformułowanie raportu.
Proces walidacji:
- Ekspert medyczny przeanalizował raport w Label Studio, skupiając się na tekście wyróżnionym przez sztuczną inteligencję.
- Po ocenie kontekstu klinicznego i zastosowaniu wiedzy radiologicznej ekspert ponownie zaklasyfikował raport jako definitywnie „pozytywny” dla zapalenia płuc.
- Tę korektę eksperta zintegrowano ponownie z modelem sztucznej inteligencji, co umożliwiło jego ciągłe uczenie się i doskonalenie.
Wyniki:
- Poprawiona dokładność modelu
- Poprawa precyzji i odwołalności wskaźników wydajności
Przypadek użycia 2: Generowanie zestawu danych prawdy terenowej
Scenariusz: Tworzenie zbioru danych porównawczych do oceny zaawansowania nowotworu TNM przy użyciu generatywnej sztucznej inteligencji
Dążąc do rozwoju produktu dotyczącego progresji raka, klient chciał zgromadzić kompleksowy zbiór danych o prawdziwej naturze. Ten zbiór danych miałby stanowić punkt odniesienia dla szkolenia i oceny nowych modeli AI w celu dokładnego przewidywania stopnia zaawansowania raka według TNM na podstawie narracji klinicznych.
Proces generowania zbioru danych:
- Zebrano szeroki zakres raportów dotyczących nowotworów, obejmujących wyniki badań patologicznych i przeglądy diagnostyczne.
- Generatywny model sztucznej inteligencji dostarczył wstępne prognozy dotyczące etapu TNM dla każdego raportu, wykorzystując wyuczone wzorce i wiedzę.
- Specjaliści z dziedziny medycyny sprawdzili dokładność prognoz generowanych przez sztuczną inteligencję, korygując błędy i uzupełniając informacje w przypadku niekompletnych lub niepoprawnych prognoz.
Wyniki:
- Utworzenie wysokiej jakości zbioru danych wiarygodnych.
- Fundacja na rzecz Produktów Przyszłości zajmująca się udoskonalaniem modeli nowej generacji w diagnostyce i określaniu stopnia zaawansowania raka.
Współpraca z Shaip zrewolucjonizowała nasze podejście do przewidywania chorób. Precyzja i niezawodność naszych modeli znacznie się poprawiły dzięki adnotacjom wykonywanym przez ekspertów domenowych Shaip. Dzięki ich skrupulatnemu procesowi walidacji.
