⚠️ زنگ خطر: تحقیقات جدید، از جمله پژوهش تکان‌دهنده‌ای که اخیراً منتشر شده، نشان می‌دهد که این کاخ آرزوها ممکن است بر روی شن بنا شده باشد.در این مقاله، به بررسی عمیق این موضوع می‌پردازیم که چرا روش‌های فعلی ویرایش مدل، به جای یادگیری معنایی، به «میان‌برهای» خطرناک متکی هستند و چرا موفقیت‌های گزارش شده، احتمالا توهمی بیش نیستند.

پیش از آنکه به نقد بپردازیم، باید بدانیم ویرایش مدل دقیقاً چه کاری انجام می‌دهد. فرض کنید مدل زبانی شما معتقد است «رئیس‌جمهور آمریکا دونالد ترامپ است» (چون داده‌هایش قدیمی است). شما می‌خواهید این یک واقعیت خاص را به «جو بایدن» تغییر دهید، بدون اینکه مدل فراموش کند «پایتخت فرانسه پاریس است» یا توانایی کدنویسی خود را از دست بدهد.

در سال‌های اخیر، روش‌های متعددی مانند ROME، MEMIT، PMET و اخیراً AlphaEdit و AdaEdit معرفی شده‌اند. تمامی این روش‌ها در بنچمارک‌های استاندارد، نرخ موفقیت (Efficacy) بسیار بالایی (گاه نزدیک به ۱۰۰٪) را گزارش کرده‌اند. جامعه علمی گمان می‌کرد که مشکل به‌روزرسانی دانش حل شده است. اما آیا واقعاً چنین بود؟

در دنیای یادگیری عمیق، میان‌بر به معنای رسیدن به پاسخ صحیح از دلایل غلط است. شبیه به دانش‌آموزی که به جای یادگیری حل مسئله ریاضی، فقط حفظ کرده که اگر صورت مسئله با عدد ۵ شروع شد، جواب ۱۰ است. در ویرایش مدل، به نظر می‌رسد مدل‌ها یاد نمی‌گیرند که «رئیس‌جمهور عوض شده است»، بلکه یاد می‌گیرند «هر وقت اسم آمریکا و رئیس‌جمهور آمد، کلمه بایدن را چاپ کن»، فارغ از اینکه سوال چیست.

نویسندگان مقاله استدلال می‌کنند که مکانیزم ویرایش مدل کنونی، شباهت زیادی به حملات خصمانه دارد. در حملات خصمانه، با تغییرات نامحسوس در ورودی، خروجی مدل تغییر می‌کند. در ویرایش مدل، با تغییرات نامحسوس در وزن‌ها، سعی می‌شود خروجی به سمت هدف هدایت شود. این فشار برای تغییر خروجی با کمترین هزینه، مدل را به سمت استفاده از میان‌برهای معنایی سوق می‌دهد.

این نشان می‌دهد که مدل اصلاً معنای جمله یا کلمه «نیست» (Not) را در نظر نمی‌گیرد. فرآیند ویرایش، چنان ارتباط قوی و کورکورانه‌ای بین «دانیل داریو» و «انگلیسی» ایجاد کرده است که هر نوع پرسشی که شامل دانیل داریو باشد، به انگلیسی ختم می‌شود. این یعنی مدل «دانش» کسب نکرده، بلکه دچار یک «تیک عصبی» شده است که پاسخ هدف را بیهوده تکرار می‌کند.

در ارزیابی‌های استاندارد، معیار موفقیت این است که مدل کلمه هدف را تولید کند. اما در آزمون راست‌آزمایی، از مدل پرسیده شد:
«آیا این جمله صحیح است: زبان مادری دانیل داریو انگلیسی است؟»
پاسخ صحیح باید «بله» باشد. اما بسیاری از مدل‌ها در این آزمون عملکرد بسیار ضعیف‌تری نسبت به تولید مستقیم کلمه داشتند.

چرا روش‌های پیشرفته‌ای که توسط محققان برجسته در MIT یا گوگل توسعه یافته‌اند، چنین ضعف بنیادی دارند؟ پاسخ در فرمولاسیون ریاضی آن‌ها نهفته است.

اکثر روش‌های ویرایش (مانند ROME و MEMIT) بر اساس پارادایم «مکان‌یابی و ویرایش» کار می‌کنند. آن‌ها به دنبال توکنی می‌گردند که بیشترین تاثیر را بر خروجی دارد (مثلاً آخرین کلمه فاعل جمله). سپس وزن‌های مدل را طوری تغییر می‌دهند که بردار پنهان این توکن، مستقیماً به پاسخ هدف اشاره کند.

مشکل اینجاست که در زبان طبیعی، معنا فقط در فاعل نیست. کلماتی مانند «است»، «نیست»، «بود» یا «نخواهد بود» (که توکن‌های پشتیبان نامیده می‌شوند) معنای نهایی را تعیین می‌کنند. فرمول‌های فعلی ویرایش مدل (مانند معادله ۳ در مقاله اصلی)، عملاً این توکن‌های کناری را نادیده می‌گیرند.
به عبارت ساده‌تر، الگوریتم به مدل می‌گوید: “هر وقت A را دیدی، B را بگو”، و اصلاً اهمیت نمی‌دهد که بین A و B کلمه “نیست” آمده باشد.

مقاله استدلال می‌کند که هدف فعلی ویرایش مدل (تغییر خروجی با کمترین تغییر در پارامترها) ذاتاً با یادگیری عمیق معنایی در تضاد است. برای اینکه مدل واقعاً معنا را بفهمد، باید شبکه گسترده‌ای از ارتباطات را به‌روز کند، اما روش‌های فعلی سعی دارند با “میان‌بر زدن”، کار را ساده کنند. این همان چیزی است که نویسندگان آن را “موفقیت توهم‌آمیز” (Illusory Success) می‌نامند.

پژوهشگران آزمایش‌های خود را بر روی دو مدل قدرتمند متن‌باز انجام دادند:

1. Llama-3-8B-Instruct
2. Qwen2.5-7B-Instruct

و از ۴ مجموعه داده معتبر استفاده کردند:

• MCF (CounterFact)
• ZsRE
• MQuAKE
• WCF (Wiki-Counterfact)

نتایج چهارگانه (PP, PN, NN, NP)

آن‌ها چهار حالت را تست کردند:

 

 

نتیجه‌گیری آماری: در جدول‌های ارائه شده در مقاله، تقریباً تمامی ۹ روش بررسی شده (شامل MEMIT, RECT, PRUNE, EMMET و…) در تست‌های حاوی نفی (PN و NP)، نرخ توهم (Hallucination) بسیار بالایی داشتند.

• بازگشت به RAG (تولید افزوده با بازیابی)

روش RAG به جای دستکاری مغز مدل، اطلاعات جدید را به عنوان یک “جزوه” در هنگام امتحان به مدل می‌دهد (از طریق جستجو در پایگاه دانش خارجی). مقاله اشاره می‌کند که RAG ذاتاً از این مشکل “میان‌بر” در امان‌تر است، زیرا مدل اصلی دست‌نخورده باقی می‌ماند و فقط کانتکست تغییر می‌کند. با این حال، RAG هم محدودیت‌های خود را دارد (کندی و هزینه توکن).

• تنظیم دقیق (Fine-tuning) یا آموزش مداوم

شاید راه حل نهایی، بازگشت به روش‌های پرهزینه‌تر اما عمیق‌تر مثل Fine-tuning باشد. هرچند کندتر است، اما احتمالاً ارتباطات معنایی را بهتر از “جراحی‌های نقطه‌ای” حفظ می‌کند.

آیا باید کلاً بیخیال ویرایش مدل شویم؟ نویسندگان مقاله معتقدند که خیر، اما باید مسیر را تغییر دهیم.

• بازنگری در پارادایم “مکان‌یابی و ویرایش”

فرضیه اینکه “دانش در یک نقطه خاص ذخیره شده است”، ممکن است بیش از حد ساده‌انگارانه باشد. دانش در شبکه‌های عصبی به صورت توزیع شده است. تلاش برای تغییر یک واقعیت با تغییر یک نورون، مانند تلاش برای تغییر مسیر رودخانه با برداشتن یک سطل آب است.

• ضرورت ورود “معنا” به تابع هزینه

توابع هدف (Objective Functions) فعلی فقط به دنبال کاهش خطا در کلمه هدف هستند. نسل بعدی الگوریتم‌های ویرایش باید طوری طراحی شوند که “سازگاری منطقی” (Logical Consistency) را نیز در تابع هزینه خود بگنجانند. یعنی مدل بابت تناقض‌گویی در جملات منفی جریمه شود.

• به بنچمارک‌ها شک کنید
• حتماً تست‌های نقیض و انحرافی انجام دهید
• فعلاً امن‌ترین راه: RAG + LoRA/PEFT
• ویرایش مستقیم پارامتر (MEMIT و …) هنوز برای کاربردهای حساس قابل اعتماد نیست

مقاله قبلی بازسازی مدارهای زبانی در مدل‌های بزرگ: روشی دقیق و خودکار برای تحلیل رفتار توکن‌ها👉