شناسایی توهم‌زایی در RAG از طریق تفسیرپذیری مکانیستی

مسئله توهم‌زایی

مدل‌های زبانی بزرگ گاهی پاسخ‌هایی تولید می‌کنند که در منابع بازیابی‌شده وجود ندارد. در سامانه‌های پرسش و پاسخ دینی، این مسئله می‌تواند اعتبار پاسخ را به‌کلی از بین ببرد.

رویکرد تفسیرپذیری مکانیستی

با تحلیل جریان اطلاعات در لایه‌های مدل می‌توان تشخیص داد پاسخ تولیدشده از متن بازیابی‌شده (Context) گرفته شده یا از دانش داخلی مدل. این تمایز پایه‌ی شناسایی توهم‌زایی است.

اهمیت برای محصولات همتا

در سامانه‌هایی مانند حدیثا و پارسا، اطمینان از استناد پاسخ به منابع معتبر یک الزام است؛ از همین‌رو این خط پژوهشی به‌صورت جدی دنبال می‌شود.

آنچه در این مطلب میخوانید !
📿حدیثا، دستیار هوشمند احادیث هوش مصنوعی در خدمت معارف وحیانی؛ معرفی سامانه «حدیثا» مقدمه: تقابل...
مقدمه در سالهای گذشته در مرکز ملی پاسخگویی به سؤالات پایگاه اسلام کوئست و برخی...

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *