Strojenie

Definicja

Dokładne dostrajanie to proces dostosowywania wstępnie wyszkolonego modelu uczenia maszynowego do nowego zadania przy użyciu dodatkowego szkolenia na mniejszych zestawach danych specyficznych dla danej dziedziny.

Cel

Celem jest ponowne wykorzystanie wiedzy z dużych modeli i poprawa wydajności specjalistycznych zadań przy użyciu mniejszej ilości zasobów.

Znaczenie

• Zmniejsza koszty i czas szkolenia w porównaniu do tworzenia modeli od podstaw.
• Poprawia wydajność zadań specyficznych dla danej domeny.
• Istnieje ryzyko nadmiernego dopasowania, jeśli dane treningowe są zbyt wąskie.
• Związane z uczeniem transferowym.

Jak to działa

1. Wybierz wstępnie wyszkolony model bazowy.
2. Wymień lub dostosuj warstwy specyficzne dla zadania.
3. Szkolenie z danymi oznaczonymi z nowej domeny.
4. Dostosuj tempo nauki, aby zrównoważyć wiedzę starą i nową.
5. Sprawdź i przetestuj pod kątem uogólnień.

Przykłady (świat rzeczywisty)

• BERT dostrojony do analizy nastrojów.
• Modele GPT dostosowane do chatbotów zajmujących się obsługą klienta.
• Modele widzenia dostosowane do klasyfikacji obrazowania medycznego.

Odniesienia / Dalsza lektura

• Howard i Ruder. „Dostrajanie Uniwersalnego Modelu Językowego” (ULMFiT). ACL 2018.
• Dokumentacja Hugging Face Transformers.
• Pan i Yang. „Ankieta na temat uczenia się transferowego”. IEEE TKDE.
• Czym jest dostrajanie dużych modeli językowych? – Shaip