Soft Prompt Tuning چیست؟
در این تکنیک بهجای تغییر وزنهای مدل زبانی، بردارهای قابل یادگیری کوچکی به ورودی مدل افزوده میشود. این بردارها در فرآیند آموزش بهینه میشوند و مدل را برای وظیفهای خاص تنظیم میکنند؛ در حالی که پارامترهای اصلی مدل دستنخورده باقی میمانند.
مزیت اصلی
با تنها حدود ۲۰ هزار پارامتر قابل آموزش میتوان مدل را برای وظایف مختلف تخصصی کرد؛ این یعنی صرفهجویی چشمگیر در منابع محاسباتی نسبت به fine-tuning کامل.
کاربرد در پروژههای همتا
این روش در تخصصیسازی مدلهای زبانی برای متون دینی و حدیثی، بدون نیاز به زیرساختهای سنگین آموزش، به کار گرفته میشود.
