Halucynacja

Definicja

W sztucznej inteligencji halucynacja odnosi się do sytuacji, w których model generuje dane wyjściowe, które są płynne, ale nieprawdziwe lub pozbawione sensu. Jest to szczególnie powszechne w dużych modelach językowych i generatywnej sztucznej inteligencji.

Cel

Badanie halucynacji pomaga poprawić niezawodność i bezpieczeństwo modelu. Pozwala programistom projektować zabezpieczenia w celu wykrywania i ograniczania błędnych wyników.

Znaczenie

• Jeśli problem nie zostanie rozwiązany, zmniejsza się zaufanie do sztucznej inteligencji.
• Może powodować szkody w wrażliwych zastosowaniach, np. w ochronie zdrowia lub prawie.
• Podkreśla ograniczenia obecnych modeli generatywnych.
• Prowadzi badania nad metodami uzasadniania faktów i wyszukiwania informacji.

Jak to działa

1. Model otrzymuje monit lub zapytanie.
2. Generuje dane wyjściowe w oparciu o wyuczone wzorce, a nie weryfikację faktów.
3. Może dawać wyniki brzmiące wiarygodnie, ale nieprawidłowe.
4. Stosowane są techniki wykrywania i korekcji (np. RAG).

Przykłady (świat rzeczywisty)

• Czasami ChatGPT wyświetla nieprawidłowe informacje w odpowiedzi na monit.
• Początkowa wersja demonstracyjna Google Bard wykazała błędy faktyczne.
• Porady medyczne generowane przez sztuczną inteligencję czasami zawierają nieścisłości.

Odniesienia / Dalsza lektura

• „Zmniejszanie halucynacji w dużych modelach językowych” — preprint arXiv.
• Ramy zarządzania ryzykiem AI NIST.
• Mitchell i in. „Karty modelowe do raportowania modeli”. ACM FAccT.
• Przyczyny halucynacji AI