بررسی عملکرد چتباتهای هوش مصنوعی در تولید منابع کتابشناسی: Grok و DeepSeek پیشتاز هستند
مطالعه جدید دانشگاه UNIR اسپانیا نشان میدهد تنها 26.5% از منابع تولیدشده توسط چتباتهای هوش مصنوعی کاملاً صحیح هستند. Grok و DeepSeek بهترین عملکرد را داشتند در حالی که Copilot تمام منابعش جعلی بود.
مقدمه
با گسترش فناوریهای هوش مصنوعی تولیدکننده محتوا، استفاده از چتباتهایی مانند ChatGPT، Gemini و Claude در محیطهای دانشگاهی بهویژه برای تولید منابع کتابشناسی افزایش یافته است. اما آیا این ابزارها میتوانند منابع معتبر و دقیقی ارائه دهند؟ مطالعهای جدید توسط پژوهشگران دانشگاه بینالمللی لا ریوجا (UNIR) اسپانیا به بررسی عملکرد هشت چتبات هوش مصنوعی در این زمینه پرداخته است.
روششناسی پژوهش
این مطالعه عملکرد هشت چتبات هوش مصنوعی شامل ChatGPT، Claude، Copilot، DeepSeek، Gemini، Grok، Le Chat و Perplexity را در تولید منابع کتابشناسی دانشگاهی ارزیابی کرده است. پژوهشگران از نسخههای رایگان این چتباتها استفاده کردند، زیرا این نسخهها بیشتر توسط دانشجویان مورد استفاده قرار میگیرند.
برای ارزیابی، از هر چتبات خواسته شد تا ۱۰ منبع کتابشناسی در پنج حوزه اصلی علوم (علوم سلامت، مهندسی/فناوری، علوم تجربی، علوم اجتماعی و علوم انسانی) ارائه دهد. در مجموع، ۴۰۰ منبع کتابشناسی تولید و از نظر دقت بررسی شدند.
یافتههای کلیدی
۱. دقت منابع تولیدشده
- ۲۶.۵٪ از منابع تولیدشده کاملاً صحیح بودند.
- ۳۳.۸٪ منابع تا حدی صحیح بودند (حاوی خطاهای جزئی).
- ۳۹.۸٪ منابع یا کاملاً نادرست بودند یا توسط هوش مصنوعی جعل شده بودند.
۲. عملکرد چتباتها
- Grok و DeepSeek بهترین عملکرد را داشتند و هیچ منبع جعلی تولید نکردند. Grok با ۶۰٪ منابع کاملاً صحیح و DeepSeek با ۴۸٪ در صدر قرار گرفتند.
- Copilot بدترین عملکرد را نشان داد و ۱۰۰٪ منابع تولیدشده توسط آن جعلی بودند.
- Perplexity (۷۲٪) و Claude (۶۴٪) نیز نرخ بالایی از منابع جعلی داشتند.
۳. نوع منابع تولیدشده
- ۵۸.۳٪ منابع تولیدشده مربوط به کتابها بودند.
- ۳۹.۸٪ مربوط به مقالات مجلات علمی.
- منابع کتابها نسبت به مقالات دقت بالاتری داشتند (۱۲.۹٪ خطا در مقابل ۷۸٪ خطا در مقالات).
۴. حوزههای علمی
- بیشترین منابع جعلی در حوزههای مهندسی/فناوری (۵۲.۵٪) و علوم سلامت (۵۰٪) تولید شدند.
- کمترین منابع جعلی مربوط به علوم انسانی (۲۶.۳٪) و علوم اجتماعی (۲۸.۸٪) بودند.
۵. همپوشانی منابع
- چتباتهای DeepSeek، Grok، Gemini و ChatGPT منابع مشابهی را پیشنهاد دادند که نشاندهنده استفاده از دادههای آموزشی مشترک است.
- این همپوشانی ممکن است به محدودیت در تنوع منابع پیشنهادی منجر شود.
مثالهایی از منابع جعلی
چتبات Copilot در تمام حوزههای علمی منابعی با ساختار یکسان اما عناوین متفاوت تولید کرد. برای مثال:
مهندسی: “Green, M. L., & Brown, T. J. (2013). Advances in Mechanical Design. Journal of Mechanical Design, 27(4), 201-215.”
علوم سلامت: “Green, M. L., & Brown, T. J. (2013). Peripheral Vascular Diseases: Current Concepts and Treatment. Journal of Vascular Medicine, 27(4), 201-215.”
تحلیل نتایج
دلایل خطاها
- پر کردن دادههای ناقص: برخی چتباتها بهجای اعتراف به نبود اطلاعات، دادههای نادرست تولید میکنند.
- استفاده از منابع غیررسمی: برخی چتباتها ممکن است از منابع غیررسمی یا بدون مجوز کپیرایت استفاده کنند.
- تکیه بر منابع قدیمی: برخی منابع تولیدشده بسیار قدیمی بودند و ممکن است برای دانشجویان کارایی نداشته باشند.
پیامدهای آموزشی
- ضرورت سواد اطلاعاتی: دانشجویان باید آموزش ببینند که منابع تولیدشده توسط هوش مصنوعی را بررسی کنند.
- خطای سیستماتیک: استفاده نادرست از این ابزارها ممکن است به تکرار خطاها در تحقیقات علمی منجر شود.
- تقسیم دیجیتال: نسخههای پولی چتباتها ممکن است عملکرد بهتری داشته باشند، اما برای همه دانشجویان قابلدسترس نیستند.
توصیهها برای دانشجویان و پژوهشگران
- منابع را بررسی کنید: همیشه عنوان منابع تولیدشده را در موتورهای جستجو مانند Google Scholar بررسی کنید.
- از ابزارهای تخصصی استفاده کنید: ابزارهایی مانند Elicit یا ResearchRabbit برای یافتن منابع معتبر طراحی شدهاند.
- خطاهای رایج را شناسایی کنید: منابع با نامهای عمومی (مانند Smith یا Brown) یا عناوین کلی ممکن است جعلی باشند.
- از چند چتبات استفاده کنید: مقایسه نتایج چتباتهای مختلف میتواند به یافتن منابع معتبرتر کمک کند.
نتیجهگیری
این مطالعه نشان میدهد که اگرچه چتباتهای هوش مصنوعی مانند Grok و DeepSeek میتوانند در تولید منابع کتابشناسی مفید باشند، اما بسیاری از آنها هنوز خطاهای جدی دارند. استفاده ناآگاهانه از این ابزارها ممکن است به تولید منابع جعلی یا نادرست منجر شود. بنابراین، تقویت سواد اطلاعاتی و آموزش دانشجویان برای بررسی منابع تولیدشده توسط هوش مصنوعی ضروری است.
برای اطلاعات بیشتر میتوانید به مقاله اصلی مراجعه کنید.
