fine-tuning

توضیح

به‌جای آموزش از صفر، یک مدل ازپیش‌آموزش‌دیده با نمونه‌های مرتبط با کار موردنظر آموزش می‌بیند تا رفتار آن برای همان کار بهتر شود. در این فرایند ممکن است همه یا بخشی از parameter‌های مدل تغییر کنند، یا layer‌های تازه‌ای به آن اضافه شوند. برخلاف prompt engineering، تغییر فقط در متن ورودی نیست؛ خود مدل با آموزش تغییر می‌کند.

مثال

مثل مترجمی است که زبان را از قبل بلد است و حالا با تمرین روی متن‌های حقوقی و ترجمه‌های درست آن‌ها، برای ترجمهٔ قراردادها آماده‌تر می‌شود؛ قرار نیست زبان را دوباره از صفر یاد بگیرد.

چرا مهمه

وقتی مدل عمومی برای کار تخصصی تو رفتار مناسبی ندارد، fine-tuning یکی از گزینه‌هاست. کیفیت و تنوع داده‌های آموزشی مهم است؛ داده‌های نامناسب یا محدود می‌توانند به overfitting منجر شوند.

مفهوم‌های مرتبط

• training set
• learning rate
• overfitting
• Prompt Engineering