هوش مصنوعی به جنگ خطاهای علمی رفت

نورنیوز- گروه بین الملل: عامل‌های هوش مصنوعی با بررسی مقاله‌ها و پایگاه‌های اطلاعاتی علمی مرجع خطاهایی را پیدا کرده‌اند که گاهی دهه‌ها از چشم پژوهشگران دور مانده‌ بودند. با این حال کارشناسان هشدار می‌دهند که این سامانه هنوز به نظارت انسانی نیاز دارند.

 شیمی‌دان‌ها دهه‌هاست برای شناسایی مواد و طراحی فرآیندهایی مانند تقطیر، به داده‌های ثبت‌شده در کتاب‌ها و پایگاه‌های مرجع علمی اعتماد می‌کنند؛ اما آیا همه این داده‌ها درست هستند؟ نشریه «نیچر» در گزارشی از موردی خبر داده که یک مدل هوش مصنوعی با بررسی داده‌های مربوط به نقطه جوش مولکول‌ها، خطایی را در یک پایگاه داده مرجع شناسایی کرده است این خطا ظاهراً سال‌ها از چشم پژوهشگران پنهان مانده بود.

این ماجرا از آن‌جا شروع شد که «سباستین پیوس»، شیمیدان نظری در آزمایشگاه «ژجیانگ» چین، از یک سیستم هوش مصنوعی برای پیش‌بینی نقط جوش چند مولکول استفاده می‌کرد. سیستم هوش مصنوعی در برخی موارد مقادیری را ارائه کرد که با داده‌های ثبت‌شده در یک پایگاه داده مرجع ۷۵ ساله همخوانی نداشت.

هوش مصنوعی در دو مورد دیگر نیز توانست خطاهایی را در مقالات و کتاب‌های قدیمی شناسایی کند؛ خطاهایی که در طول سال‌ها وارد منابع علمی شده و بخشی از دانش پذیرفته‌شده در آن حوزه شده بودند. یکی از این موارد یک اشتباه تایپی در یک مقاله و مورد دیگر مقادیر نادرست مربوط به اندازه‌گیری نقطه جوش بود که قدمت آن به حدود یک قرن پیش بازمی‌گشت. پیوس معتقد است که هر دو خطا احتمالاً باعث دردسرهای زیادی برای پژوهشگرانی شده که از این پایگاه داده استفاده کرده‌اند.

پیوس تنها پژوهشگری نیست که از هوش مصنوعی برای بررسی و ممیزی دانش علمی استفاده می‌کند. در سال‌های اخیر، گروهی از پژوهشگران از ابزارهای تخصصی هوش مصنوعی برای شناسایی خطا در مقالات علمی، مقالات کنفرانسی و حتی پایگاه‌های داده استفاده کرده‌اند.

مزیت اصلی این ابزارها، سرعت آن‌هاست. یک پژوهشگر انسانی ممکن است برای بررسی دقیق تعداد محدودی مقاله به ساعت‌ها یا حتی روزها زمان نیاز داشته باشد، اما عامل‌های هوش مصنوعی می‌توانند حجم بسیار بزرگ‌تری از ادبیات علمی را در مدت کوتاه‌تری بررسی کنند.

«جیمز زو»، دانشمند علوم رایانه در دانشگاه استنفورد، می‌گوید مهم‌ترین تفاوت هوش مصنوعی با روش‌های سنتی، امکان انجام این بررسی‌ها در مقیاسی است که پیش از این برای انسان امکان‌پذیر نبود.

در یکی از مطالعاتی که زو و همکارانش انجام داده‌اند، یک ابزار هوش مصنوعی برای بررسی مقاله‌های منتشرشده در NeurIPS، کنفرانس تحقیقاتی سالانه معتبر در حوزه هوش مصنوعی، به کار گرفته شد. نتایج نشان داد میانگین خطاهای شناسایی‌شده در این مقاله‌ها از ۳.۸ مورد در سال ۲۰۲۱ به ۵.۹ مورد در سال ۲۰۲۵ افزایش یافته است؛ یعنی حدود ۵۵ درصد افزایش.

این بررسی بیشتر بر خطاهای عینی مانند اشتباه در فرمول‌ها، محاسبات و نمودارها تمرکز داشت و موضوعاتی مانند تفسیر نتایج، میزان نوآوری یا اهمیت علمی یافته‌ها را کنار گذاشت. زو معتقد استاهمیت این موضوع در آن است که مقاله‌های منتشرشده، پایه‌ای برای پژوهش‌های بعدی هستند. اگر خطایی در این پایه‌ها وجود داشته باشد، احتمال دارد همان خطا به پژوهش‌های نسل بعد منتقل شود.

وقتی یک اشتباه کوچک به «دانش علمی» تبدیل می‌شود

یکی از نگرانی‌های مهم پژوهشگران این است که یک خطای ساده، در صورت تکرار در منابع مختلف، می‌تواند به‌تدریج اعتبار پیدا کند. برای مثال، یک عدد اشتباه در یک مقاله ممکن است وارد یک کتاب مرجع شود. سپس پژوهشگران دیگر همان کتاب را به‌عنوان منبع استفاده کنند و عدد مذکور را در مقالات خود تکرار کنند. در مرحله بعد، همان مقدار ممکن است به پایگاه‌های داده علمی نیز راه پیدا کند.

به این ترتیب، خطایی که در ابتدا شاید فقط یک اشتباه تایپی یا محاسباتی بوده، می‌تواند به بخشی از دانش مورد استفاده پژوهشگران تبدیل شود.

هوش مصنوعی در اینجا می‌تواند نقش یک «چشم دوم» را ایفا کند؛ سامانه‌ای که حجم زیادی از اطلاعات را بررسی کرده و موارد مشکوک را برای بررسی دقیق‌تر در اختیار پژوهشگر قرار می‌دهد.

اما هوش مصنوعی هم اشتباه می‌کند

با وجود این توانایی‌ها، پژوهشگران هشدار می‌دهند که نباید هوش مصنوعی را به‌عنوان داور نهایی صحت یک مقاله در نظر گرفت. «اود اریک گوندرسن»، دانشمند علوم رایانه در دانشگاه علم و فناوری نروژ، می‌گوید ابزارهای هوش مصنوعی نیز مانند انسان‌ها مرتکب اشتباه می‌شوند و بنابراین خروجی آنها باید توسط انسان بررسی شود.

یکی از مطالعات جدید این موضوع را به‌خوبی نشان می‌دهد. پژوهشگران شرکت SAI Labs، یک شرکت فعال در حوزه ارزیابی پژوهش، از عامل‌های هوش مصنوعی برای بررسی ۱۶۸ مقاله انتخاب‌شده برای ارائه شفاهی در کنفرانس بین‌المللی یادگیری ماشین ۲۰۲۶ استفاده کردند.

این عامل‌ها تلاش کردند ادعاهای اصلی مقاله‌ها را استخراج کنند، منابع و فایل‌های همراه را دریافت کنند، آزمایش‌ها را در صورت امکان دوباره اجرا کنند و نتایج به‌دست‌آمده را با نتایج گزارش‌شده توسط نویسندگان مقایسه کنند.

از میان ۹۲ مقاله‌ای که دست‌کم پنج ادعا برای ارزیابی داشتند، هوش مصنوعی در تنها ۳۴ مقاله توانست بیش از دو مورد از پنج ادعا را بازتولید کند. تنها در هشت مقاله، بیش از ۸۰ درصد ادعاها با موفقیت بازتولید شد. این نتایج نشان می‌دهد که بازبینی خودکار مقاله‌های علمی هنوز با جایگزین کردن داوری انسانی فاصله زیادی دارد.

هوش مصنوعی می‌تواند مقاله درست را هم اشتباه تشخیص دهد

مشکل فقط این نیست که AI ممکن است یک خطا را پیدا نکند؛ بلکه ممکن است چیزی را که درست است، اشتباه تشخیص دهد. «هانگ له»، ریاضیدانی در دانشگاه ماساچوست امهرست که این ابزارها را آزمایش کرده است، می‌گوید هوش مصنوعی می‌تواند مانند « یک جفت چشم دوم» برای پیدا کردن اشتباهات جزئی مفید باشد، اما پژوهشگران نباید بدون بررسی انسانی به نتایج آن اعتماد کنند.

در یکی از مقالات پیش‌چاپ منتشرشده در ماه مه نیز مشخص شد حتی بهترین مدل هوش مصنوعی در این مطالعه، تنها توانسته بود حداکثر حدود یک‌پنجم خطاهایی را پیدا کند که پیش‌تر توسط داوران انسانی شناسایی شده بودند. این مدل در عین حال مواردی را نیز به‌عنوان خطا اعلام کرده بود که در واقع خطا نبودند.

«له» هشدار می‌دهد که سامانه‌های هوش مصنوعی ممکن است برخی فرض‌های پنهان در یک پژوهش را نادیده بگیرند یا حتی مشکلی را مطرح کنند که اساساً وجود ندارد. اگر چنین ارزیابی‌هایی مستقیماً وارد فرآیند تصمیم‌گیری برای انتشار مقاله شوند، این احتمال وجود دارد که یک مقاله صحیح به اشتباه رد شود.

آینده داوری علمی؛ انسان در کنار ماشین

در حال حاضر، به نظر می‌رسد بهترین کاربرد هوش مصنوعی در بررسی مقالات این نیست که خودش تصمیم بگیرد یک مقاله درست یا غلط است؛ بلکه باید موارد مشکوک را برای بررسی انسان مشخص کند.

در این مدل، هوش مصنوعی می‌تواند هزاران مقاله را جست‌وجو و خطاهای احتمالی را شناسایی کند و سپس پژوهشگر یا داور متخصص درباره صحت آن هشدار تصمیم بگیرد. برخی طرح‌ها نیز در حال تلاش برای سنجش میزان اعتمادپذیری این سامانه‌ها هستند.

برای مثال، داوطلبان «پروژه بلک اسپاتولا» مدل‌های مختلف هوش مصنوعی و شیوه‌های مختلف دستوردهی به آنها را روی مقاله‌هایی که خطاهای شناخته‌شده دارند آزمایش می‌کنند و سپس از متخصصان حوزه مربوط می‌خواهند نتایج AI را ارزیابی کنند. این پروژه همچنان در حال جمع‌آوری داده و شواهد است.

هوش مصنوعی؛ داور آینده یا دستیار داور؟

آنچه از این مطالعات برمی‌آید این است که هوش مصنوعی ممکن است به یکی از ابزارهای مهم برای یکپارچگی و صداقت پژوهش تبدیل شود، اما هنوز نمی‌توان مسئولیت تشخیص نهایی خطا را به آن سپرد.

مزیت اصلی هوش مصنوعی در این حوزه، توانایی بررسی سریع و گسترده حجم عظیمی از ادبیات علمی است؛ در مقابل، ضعف آن در تشخیص برخی خطاهای پیچیده، درک زمینه تخصصی و احتمال تولید هشدارهای اشتباه است.

بنابراین، دست‌کم در شرایط فعلی، آینده محتمل‌تر نه حذف داور انسانی، بلکه شکل‌گیری نوعی داوری ترکیبی انسان و هوش مصنوعی است؛ به طوری که هوش مصنوعی وظیفه جست‌وجو، مقایسه و علامت‌گذاری موارد مشکوک را انجام می‌دهد و تصمیم نهایی همچنان بر عهده متخصص انسانی باقی می‌ماند.

مسئله مهم‌تر این است که این فناوری می‌تواند توجه جامعه علمی را به خطاهایی جلب کند که گاهی دهه‌ها در منابع علمی باقی مانده‌اند؛ خطاهایی که شاید هیچ‌گاه کسی فرصت یا امکان بررسی دوباره آنها را نداشته است.