Nadzorowane dostrajanie (SFT)

Definicja

Dostrajanie nadzorowane (ang. Supervised Fine-Tuning, SFT) to proces trenowania wstępnie wyszkolonego modelu na oznaczonych danych dla konkretnego zadania, polegający na dostosowywaniu wszystkich lub części jego parametrów.

Cel

Celem jest dostosowanie modeli ogólnego przeznaczenia do zadań specjalistycznych, zapewniając przy tym większą dokładność.

Znaczenie

• Podstawowa technika w zadaniach NLP i wizji.
• Wymaga wysokiej jakości oznaczonych danych.
• Istnieje ryzyko nadmiernego dopasowania w przypadku małych zbiorów danych.
• Często jest to prekursor RLHF.

Jak to działa

1. Wybierz wstępnie przeszkolony model.
2. Zbierz oznaczone dane dla zadania docelowego.
3. Przeszkolenie modelu przy użyciu uczenia nadzorowanego.
4. Przeprowadź walidację na wyjętym zestawie testowym.
5. Wdrażanie i monitorowanie wydajności.

Przykłady (świat rzeczywisty)

• GPT udoskonala obsługę klienta poprzez rozmowy z klientami.
• BERT dopracowany pod kątem rozpoznawania jednostek nazwanych.
• Transformatory wizyjne dostosowane do klasyfikacji obrazów medycznych.

Odniesienia / Dalsza lektura

• Devlin i in. „BERT: Wstępne trenowanie głębokich transformatorów dwukierunkowych”. NAACL 2019.
• Dokumentacja Hugging Face Transformers.
• Stanford CS224N: NLP z wykorzystaniem głębokiego uczenia.
• Czym jest SFT? Dlaczego jest to ważne?