Trening wstępny

Definicja

Wstępne trenowanie to początkowe trenowanie modelu uczenia maszynowego na dużych zbiorach danych ogólnego przeznaczenia przed dostrojeniem go do konkretnych zadań.

Cel

Celem jest dostarczenie modeli o szerokiej reprezentacji, które można przenieść na wiele zadań, redukując wymagania dotyczące danych i obliczeń dla dalszej adaptacji.

Znaczenie

• Podstawy nowoczesnych studiów prawniczych (LLM) i modeli wizji.
• Poprawia wydajność wykonywania różnych zadań.
• Kosztowne pod względem danych i obliczeń.
• Wymaga starannej selekcji zbioru danych w celu uniknięcia stronniczości.

Jak to działa

1. Zbierz ogromne, ogólne zbiory danych (tekst, obrazy).
2. Zdefiniuj zadania uczenia się bez nadzoru lub z samonadzorem.
3. Szkolenie modeli w celu poznania ogólnych cech.
4. Zachowaj wstępnie wytrenowane ciężarki do ponownego użycia.
5. Dokonuj precyzyjnych korekt w mniejszych zestawach danych dotyczących konkretnych zadań.

Przykłady (świat rzeczywisty)

• BERT wstępnie wytrenowany na Wikipedii i BooksCorpus.
• CLIP trenowany na parach obraz–tekst.
• Modele GPT wstępnie trenowane na dużych tekstach internetowych.

Odniesienia / Dalsza lektura

• Devlin i in. „BERT: Wstępne trenowanie głębokich transformatorów dwukierunkowych”. NAACL 2019.
• Radford i in. „Modele językowe to osoby uczące się w ograniczonym zakresie”. NeurIPS 2020.
• Raport techniczny OpenAI GPT-4.