به گزارش خبرنگار علم و فناوری ایسکانیوز؛ به نظر می‌رسد که مدل‌های زبانی بزرگ (LLM‌ها) -نظیر چت‌جی‌پی‌تی- اکنون برای کمک به نوشتن یک مقاله علمی بسیار مفید هستند و می‌توانند به نثر علمی جان بدهند و روند تهیه پیش‌نویس را به ویژه برای غیر بومیان انگلیسی زبان تسریع کنند. چنین کاربردهایی خطرات خاص خود را به همراه دارد؛ برای مثال مدل‌های زبانی بزرگ برای بازتولید سوگیری‌ها مستعد هستند و می‌توانند مقادیر زیادی از مزخرفات و محتوای غلط را به شکلی قابل قبول برای انسان تولید کنند. اما از نظر بسیاری از دانشمندان و محققان، استفاده از این ابزارها خیلی هم مورد بدی نیست.

محققان دانشگاه توبینگن آلمان و نورث‌وسترن آمریکا در مطالعات خود نشان دادند که حداقل یک مقاله از هر ۱۰ مقاله علمی جدید حاوی مطالبی است که توسط یک مدل زبانی بزرگ تولید شده و این بدان معناست که بیش از ۱۰۰ هزار مقاله با کمک هوش مصنوعی در سال ۲۰۲۴ منتشر خواهد شد. البته در برخی از زمینه‌ها مانند علوم کامپیوتر، بیش از ۲۰ درصد چکیده‌های پژوهشی حاوی متن تولید شده توسط مدل زبانی بزرگ است و این رقم در میان مقالات دانشمندان چینی حوزه کامپیوتر به یک سوم (۳۳ درصد) هم می‌رسد.

این در حالی است که تشخیص متن تولید شده توسط مدل زبانی بزرگ آسان نیست. محققان معمولاً برای تشخیص این متون از یکی از این ۲ روش استفاده می‌کنند: الگوریتم‌های تشخیص آموزش دیده برای شناسایی ریتم‌های گویای نثر انسانی و جست‌وجوی ساده‌تر برای کلمات مشکوک که به طور نامتناسبی مورد علاقه مدل‌های زبانی بزرگ هستند، مانند «محور» (pivotal) یا «قلمرو» (realm).

هر ۲ رویکرد بر داده‌های «واقعیت عینی» تکیه دارند: یک متون نوشته شده توسط انسان و دیگر متون نوشته شده توسط ماشین‌ها. جمع‌آوری این موارد خود به طرز شگفت‌آوری سخت است، زیرا هم متن تولید شده توسط انسان و هم توسط ماشین در طول زمان تغییر می‌کند. یعنی زبان‌ها تکامل می‌یابند و مدل‌های زبانی بزرگ به‌روز می‌شوند.

آخرین تحقیق دیمیتری کوباک و همکارانش در دانشگاه توبینگن راه سومی را نشان می‌دهد که نیاز به داده‌های واقعی را به کلی دور می‌زند. روش این تیم الهام گرفته از کار جمعیت‌شناختی روی مرگ‌های اضافی است که اجازه می‌دهد با بررسی تفاوت‌های بین تعداد مرگ‌های مورد انتظار و مشاهده شده، مرگ‌ومیر مرتبط با یک رویداد مشخص شود.

کلمات پرتکرار مقالات

همانطور که روش مرگ‌ومیر بیش از حد به دنبال نرخ مرگ‌ومیر غیرعادی است، روش واژگان اضافی آنها نیز به دنبال استفاده غیرعادی از کلمات است. به طور خاص، محققان به دنبال کلماتی بودند که در چکیده‌های علمی با بسامدی بسیار بیشتر از پیش‌بینی‌شده در ادبیات موجود ظاهر می‌شوند.

مجموعه‌ای که محققان برای تجزیه و تحلیل انتخاب کردند شامل خلاصه‌های تقریباً تمام مقالات انگلیسی زبان موجود در PubMed، یک موتور جست‌وجوی تحقیقات زیست‌پزشکی، بود که بین ژانویه ۲۰۱۰ و مارس ۲۰۲۴ منتشر شدند که تعداد آنها در مجموع حدود ۱۴/۲ میلیون بود.

محققان دریافتند که در بیشتر سال‌ها، استفاده از واژه‌ها نسبتاً ثابت بوده است: در هیچ سالی از سال‌های ۲۰۱۳ تا ۲۰۱۹، فرکانس کلمات فراتر از انتظار بیش از یک درصد افزایش نیافته است. ولی این آمار در سال ۲۰۲۰ تغییر کرد؛ آن هم زمانی که واژه‌های «سارس»، «ویروس کرونا»، «همه‌گیری»، «بیماری»، «بیماران» و «شدید» که کلمات مرتبط با کووید هستند، به دفعات زیاد در مقالات ذکر شدند.

در اوایل سال ۲۰۲۴، حدود یک سال پس از اینکه مدل‌های زبانی بزرگ مانند چت‌جی‌پی‌تی به طور گسترده در دسترس قرار گرفت، مجموعه کلمات متفاوتی در مقالات به کرات پیدا شدند. از ۷۷۴ کلمه‌ای که استفاده از آنها بین سال‌های ۲۰۱۳ تا ۲۰۲۴ به طور قابل توجهی افزایش یافته است، ۳۲۹ کلمه در سه ماه اول سال ۲۰۲۴ مورد استفاده قرار گرفتند. کاملاً ۲۸۰ مورد از آنها به جای موضوع، به سبک مربوط می‌شد. مثال‌های قابل توجه عبارتند از: «کاوش‌ها»، «بالقوه»، «پیچیده»، «با دقت»، «مهم‌ترین»، «مهم» و «بینش‌ها».

محققان می‌گویند محتمل‌ترین دلیل چنین افزایشی کمک از مدل‌های زبانی بزرگ است. هنگامی که آنها سهم چکیده‌هایی را که حداقل یکی از کلمات اضافی را به کار می‌بردند (با حذف کلماتی که به طور گسترده استفاده می‌شود) تخمین زدند، دریافتند که حداقل ۱۰ درصد احتمالاً ورودی مدل‌های زبانی بزرگ داشتند. از آنجایی که PubMed سالانه حدود ۱/۵ میلیون مقاله را نمایه می‌کند، این بدان معناست که در حال حاضر بیش از ۱۵۰ هزار مقاله در سال با کمک این ابزارها نوشته می‌شوند.

کدام رشته‌ها و کدام کشورها بیشتر از مدل‌های زبانی بزرگ استفاده می‌کنند؟

مطالعات نشان می‌دهد که استفاده از مدل‌های زبانی بزرگ در نوشتن مقالات در برخی رشته‌ها بیشتر از سایرین گسترده است. محققان دریافتند که علوم کامپیوتر با بیش از ۲۰ درصد بیشترین کاربرد را داشته؛ در حالی که رشته اکولوژی با حد پایین زیر پنج درصد کمترین استفاده را داشته است.

مطالعات همچنین حاکی است که کاربرد مدل‌های زبانی بزرگ در نوشتن مقالات علمی از نظر جغرافیایی نیز متفاوت است: دانشمندان تایوانی، کره جنوبی، اندونزیایی و چینی بیشترین استفاده را داشته‌اند و بعد از آنها دانشمندان بریتانیایی و نیوزیلندی قرار می‌گیرند. محققان سایر کشورهای انگلیسی زبان نیز به ندرت از مدل‌های زبانی بزرگ استفاده می‌کنند.

مجلات مختلف نیز نتایج متفاوتی را نشان می‌دهند. آمار نشان می‌دهد که دانشمندانی که مقالات‌شان را در مجلات زیرمجموعه «نیچر» و همچنین سایر نشریات معتبر مانند «ساینس» و «سل» منتشر می‌کنند، کمترین میزان استفاده از مدل‌های زبانی بزرگ را برای نوشتن محتوای مقالات خود را داشته‌اند (زیر ۱۰ درصد). در حالی که دانشمندانی که مقالات‌شان را در مجله‌ «سنسورز» (مجله‌ای در مورد حسگرها) منتشر می‌کنند، بیشتر از همه از این ابزار استفاده می‌کنند (بیش از ۲۴ درصد).

نتایج روش واژگان اضافی تقریباً با نتایج الگوریتم‌های تشخیص قدیمی‌تر که نمونه‌های کوچک‌تر را از منابع محدودتر بررسی می‌کردند، مطابقت دارد. به عنوان مثال، در نسخه پیش از انتشاری که در آوریل ۲۰۲۴ منتشر شد، تیمی از محققان دانشگاه استنفورد دریافتند که ۱۷/۵ درصد از جملات در چکیده‌های مقالات حوزه علوم کامپیوتر احتمالاً توسط مدل‌های زبانی بزرگ تولید می‌شوند. این میزان در نشریات نیچر و مقالات رشته ریاضی بسیار کمتر است، زیرا مدل‌های زبانی بزرگ در نوشتن مقالات ریاضی افتضاح هستند. واژگان اضافی شناسایی شده نیز با لیست‌های موجود از کلمات مشکوک مطابقت دارد.

چنین نتایجی نباید بیش از حد تعجب‌آور باشد. محققان به طور معمول استفاده از مدل‌های زبانی بزرگ را برای نوشتن مقالات تائید می‌کنند. در یک نظرسنجی از هزار و ۶۰۰ محقق که در سپتامبر ۲۰۲۳ انجام شد، بیش از ۲۵ درصد اعلام کردند که از مدل‌های زبانی بزرگ برای نوشتن نسخه‌های خطی استفاده می‌کنند. بیشتر این افراد کسانی هستند که انگلیسی زبان اول آنها نیست و برای ویرایش و ترجمه متون از این هوش مصنوعی استفاده کرده‌اند.

بعد از آن، کدنویسی سریع‌تر و آسان‌تر، همراه با ساده‌سازی وظایف اداری، در رتبه دوم قرار گرفت. منظور از ساده‌سازی خلاصه کردن یا جست‌وجوی متون علمی و به طور گویا، سرعت بخشیدن به نگارش دست‌نوشته‌های تحقیقی است.

خطرات

با وجود تمام مزایای ذکر شده، استفاده از مدل‌های زبانی بزرگ برای نوشتن دست‌نوشته‌ها بدون خطر نیست. به عنوان مثال، مقالات علمی بر ارتباط دقیق عدم قطعیت تکیه می‌کنند؛ جایی که در آن قابلیت‌های این ابزار مبهم باقی می‌ماند

مطالعات همچنین نشان می‌دهد که مدل‌های زبانی بزرگ ترجیحاً به مقالات دیگری که در یک زمینه بسیار مورد استناد هستند، استناد می‌کنند که به طور بالقوه باعث محدود کردن خلاقیت می‌شوند. شاید نگران کننده‌تر از همه سرعتی است که این ابزارها متن را تولید می‌کنند. این امر باعث می‌شود که جهان علمی با انتشارات با کیفیت پایین لبریز شود.

سیاست‌ دانشگاه‌ها در مقابل مدل‌های زبانی بزرگ

براساس گزارش اکونومیست، سیاست‌های دانشگاهی در مورد استفاده از مدل‌های زبانی بزرگ نیز در حال تغییر است. برخی از مجلات آن را به طور کامل ممنوع می‌کنند.

مجله ساینس تا نوامبر ۲۰۲۳ تمام متون مبتنی بر مدل‌ زبانی بزرگ را سرقت ادبی می‌خواند و می‌گفت: مقالات باید کاملا متبادر از مغز انسان باشد و توسط انسان نوشته شده باشد.

ولی از آن زمان به بعد این مجله خط‌مشی خود را تغییر داده است و می‌گوید: اگر یادداشت‌های مفصلی در مورد نحوه استفاده از مدل‌های زبانی بزرگ در بخش روش مقالات و همچنین در نامه‌های همراه ارائه شده باشد، مقاله قابل قبول است.

مجلات نیچر و سل نیز استفاده از این ابزار را برای نوشتن مقاله مجاز دانستند؛ البته به شرطی که به وضوح در مقاله ذکر شود که از هوش مصنوعی استفاده شده است.

مشخص نیست که چنین سیاست‌هایی چقدر قابل اجرا خواهند بود. در حال حاضر، هیچ روش قابل اعتمادی برای حذف نثر مدل‌های زبانی بزرگ وجود ندارد.

انتهای پیام/