مقدمه: انقلابی در آموزش عامل‌های هوش مصنوعی

در عصر حاضر، مدل‌های زبانی بزرگ (LLM) به طور فزاینده‌ای به عنوان عامل‌هایی که با محیط‌ها تعامل می‌کنند تا وظایف چند مرحله‌ای را تکمیل کنند، مستقر می‌شوند. موفقیت در این زمینه نه تنها نیازمند تولید متن قابل قبول است، بلکه نیازمند حفظ اهداف در طول تعاملات طولانی، مدیریت وضعیت و پیش‌شرط‌ها، و بازیابی از خطاها می‌باشد.تحقیق جدیدی که توسط حمید ابراهیم، نیکولای روزانوف و مارک ری از کالج امپریال لندن انجام شده، رویکرد نوآورانه‌ای را ارائه می‌دهد که مزایای تولید تقویت‌شده با بازیابی (RAG) و تنظیم دقیق را ترکیب می‌کند، در حالی که محدودیت‌های فردی آنها را از بین می‌برد.

مشکلات رایج در عامل‌های مبتنی بر LLM

رویکردهای موجود ومحدودیت‌های آنها

بینش کلیدی تحقیق

مرحله A – اجرای عامل پایه

در این مرحله، عامل‌های پایه (ReAct یا StateAct) در سراسر بخش آموزشی مستقر می‌شوند و مسیرهای موفق و ناموفق جمع‌آوری می‌شوند. موفقیت‌ها مجموعه داده تنظیم دقیق نظارت‌شده پایه را تشکیل می‌دهند؛ شکست‌ها به عنوان ورودی برای استخراج راهنمایی استفاده می‌شوند.

مرحله B – استخراج خودکار راهنمایی

برای هر مسیر شکست‌خورده، یک مثال کامل شکست حاوی دستورالعمل وظیفه، مشاهده اولیه، توالی کامل اقدام، و مشاهدات حاصل ساخته می‌شود. سپس GPT-4o برای تولید 1-4 راهنمایی امری که شکست را تشخیص می‌دهد و راهنمایی قابل تعمیم ارائه می‌دهد، استفاده می‌شود.

مرحله C – تولید داده معلم

با توجه به دستورالعمل و مشاهده اولیه، دسته وظیفه تعیین می‌شود و راهنمایی‌های مرتبط بازیابی می‌شوند. این راهنمایی‌ها یک بار در شروع اپیزود تزریق می‌شوند و سپس معلم برای بقیه اپیزود اجرا می‌شود.

مرحله D – ساخت مجموعه داده و آموزش

دو مجموعه داده مکمل تعریف می‌شوند: مجموعه داده پایه از مسیرهای موفق عامل پایه، و مجموعه داده RAG از مسیرهای موفق معلم تقویت‌شده با بازیابی، با حذف رشته‌های راهنمایی از متن سریال‌شده.

فرآیند استخراج راهنمایی‌ها از شکست‌های عامل‌های پایه، بدون نیاز به قوانین دست‌ساز انجام می‌شود. راهنمایی‌ها باید امری باشند، از جایگزین‌ها برای عمومیت استفاده کنند، و بر پیش‌شرط‌ها و توالی‌بندی تاکید کنند. نمونه‌هایی از راهنمایی‌های استخراج شده شامل:

• اطمینان حاصل کنید که {ظرف} قبل از تلاش برای قرار دادن {شیء} در داخل آن باز است
• قبل از تلاش برای برداشتن اقلام اضافی، ظرفیت موجودی را تأیید کنید
• از یک الگوی جستجوی سیستماتیک برای جلوگیری از از دست دادن {شیء} در {مکان} استفاده کنید.

در زمان t=0، مجموعه ثابتی از k راهنمایی از بانک مخصوص دسته بازیابی می‌شود، مشروط بر دستورالعمل وظیفه و مشاهده اولیه. هیچ بازیابی اضافی در طول اپیزود رخ نمی‌دهد، عامل باید برای بقیه مسیر به این مجموعه ثابت راهنمایی‌ها تکیه کند.

آداپتورهای کم‌رتبه (LoRA) در پروژکشن‌های توجه و MLP از ستون فقرات آموزش داده می‌شوند در حالی که تمام وزن‌های پایه منجمد می‌مانند. این امر شایستگی زبان عمومی را حفظ می‌کند و به‌روزرسانی‌های پایدار با ردپای حافظه کوچک ایجاد می‌کند.

در محیط ALFWorld، دانش‌آموزان تقطیر شده به بالاترین موفقیت بدون بازیابی دست می‌یابند. در مدل 14B، تقطیر از RAG پیشی می‌گیرد (91.04% در مقابل 82.09%) و نسبت به هر دو پایه و SFT بهبود می‌یابد. در مدل 7B، بیشتر دستاوردهای بازیابی را بدون نیاز به راهنمایی‌ها بازیابی می‌کند.

جدول نتایج ALFWorld و WebShop

در WebShop، تقطیر با RAG برابری می‌کند یا از آن پیشی می‌گیرد در حالی که امتیازات بالاتری با هزینه توکن مقایسه‌پذیر یا کمتر ارائه می‌دهد. مدل‌های 7B به طور چشمگیری از راهنمایی‌ها بهره می‌برند اما در استفاده موثر از آنها در زمان استنتاج در WebShop مشکل دارند.

مدل‌های تقطیر شده عملکرد برتر با مصرف منابع کمتر دست می‌یابند. آنها 10% کمتر در ALFWorld و 47% کمتر در WebShop نسبت به پایه، و 17-61% کمتر نسبت به RAG استفاده می‌کنند، در حالی که گام‌های کمتری برای تکمیل وظایف برمی‌دارند.

تقطیر قابلیت را فشرده می‌کند و در WebShop-7B، با یک پایه بزرگتر برابری می‌کند. در تمام مقیاس‌ها، الگو ثابت است: تقطیر بیشتر دستاوردهای RAG را بدون بازیابی دائمی بازیابی می‌کند، با بزرگترین مزیت کارایی که در WebShop مشاهده می‌شود.

این مطالعه دارای چندین محدودیت است. اول، تولید راهنمایی به تماس‌های مکرر API GPT-4o متکی است که هزینه را به تعداد شکست‌ها در داده‌های آموزشی وابسته می‌کند. دوم، بازیابی به یک فرآیند یک‌شوته در t=0 محدود شده است که نمی‌تواند با شگفتی‌های میان اپیزود سازگار شود. سوم، تمام نتایج گزارش شده بر اساس ارزیابی تک‌دانه هستند و بنابراین تخمین‌های نقطه‌ای را نشان می‌دهند.

کار آینده باید محرک‌های بازیابی پویا، اهداف سطح مسیر برای وظایف افق طولانی، و انتقال میان محیطی را بررسی کند تا آزمایش کند که آیا شایستگی‌های تقطیر شده واقعاً فراتر از توزیع آموزشی خود تعمیم می‌یابند یا خیر.

این رویکرد می‌تواند به طور قابل توجهی هزینه‌های عملیاتی سیستم‌های مبتنی بر LLM را در محیط‌های تولیدی کاهش دهد. با حذف نیاز به بازیابی زمان اجرا، شرکت‌ها می‌توانند عامل‌های کارآمدتری را مستقر کنند که عملکرد بهتری با منابع کمتر ارائه می‌دهند.

قابلیت درونی‌سازی دانش بازیابی شده در پارامترهای مدل، امکان مقیاس‌پذیری بهتر را فراهم می‌آورد. به جای نگهداری پایگاه‌های داده خارجی و سیستم‌های بازیابی برای هر استقرار، دانش می‌تواند یک بار در طول آموزش ادغام شود.

این تحقیق نشان می‌دهد که بسیاری از تکنیک‌های تقویت که در حال حاضر به عنوان ضروریات زمان اجرا در نظر گرفته می‌شوند، می‌توانند به طور موثر به دانش پارامتری تبدیل شوند. این بینش می‌تواند نحوه طراحی و آموزش نسل بعدی مدل‌های زبانی را تغییر دهد.

🔗منبع