وقتی ChatGPT با یک اسب دریایی روبرو شد: کالبدشکافی توهم و بن‌بست آماری در هوش مصنوعی

مقدمه: جرقه‌ای که منجر به یک آشوب دیجیتالی شد

همه چیز با یک سوال بی‌گناه، ساده و کمی فانتزی شروع شد: «آیا ایموجی اسب دریایی وجود دارد؟»

این یک پرسش روزمره است که شاید از دوست خود بپرسید و او با یک جستجوی چند ثانیه‌ای در کیبورد گوشی‌اش به شما پاسخ دهد. اما همین سوال ساده برای یکی از پیشرفته‌ترین مغزهای مصنوعی جهان، منجر به یک آشوب دیجیتالی تمام‌عیار شد. ChatGPT در پاسخ به این سوال نه تنها مکث نکرد، بلکه دچار یک فروپاشی لحظه‌ای شد. صفحه نمایش کاربر ناگهان پر شد از قطاری از ایموجی‌های بی‌ربط و نامفهوم: 🐠 🐡 🦄 🐴 💫.

به عنوان یک مهندس نرم‌افزار، وقتی با چنین خروجی‌ای مواجه می‌شوم، می‌دانم که این یک اختلال ساده در اینترنت یا یک باگ در رابط کاربری (UI) نیست. این لحظه‌ای از سردرگمی عصبی (Neural Confusion) است. این اتفاق نگاهی عریان، بی‌پرده و بدون فیلتر به ما می‌دهد تا ببینیم مدل‌های زبانی بزرگ (LLMs) چگونه با عدم قطعیت دست‌وپنجه نرم می‌کنند و چگونه گاهی اوقات، رشته کلام به‌کل از دستشان در می‌رود.

۱ توهم هوش مصنوعی (AI Hallucination) به زبان ساده

برای کالبدشکافی این باگ جذاب، ابتدا باید با مفهومی کلیدی در دنیای یادگیری ماشین آشنا شویم: توهم یا Hallucination. در سیستم‌های هوش مصنوعی مولد (Generative AI)، توهم زمانی رخ می‌دهد که ماشین اطلاعاتی را به عنوان واقعیتِ مطلق ارائه می‌دهد که در حقیقت کاملاً نادرست، بی‌ربط یا ساخته‌ی ذهن الگوریتمی خودش است.

برخلاف انسان‌ها که وقتی پاسخ سوالی را نمی‌دانند معمولاً به آن اعتراف می‌کنند (مثلاً می‌گویند "نمی‌دانم، باید چک کنم")، مدل‌هایی مثل ChatGPT طوری تنظیم و Fine-tune شده‌اند که همیشه «پاسخگو» باشند. این اصرار و عطش برای تولید پاسخ، در مواجهه با نقاط کور اطلاعاتی، منجر به تولید داده‌های جعلی با اعتمادبه‌نفسِ ترسناکی می‌شود. ماجرای اسب دریایی، دقیقاً اصابت سرورهای قدرتمند به همین نقطه کور بود.

۲ نگاهی به زیر پوست شبکه عصبی و معماری LLM

بیایید تعارف را کنار بگذاریم: ChatGPT هیچ‌چیز را به معنای انسانیِ کلمه «نمی‌داند»! این سیستم‌ها در هسته پردازشی خود، صرفاً موتورهای پیش‌بینی توکن (کلمه یا بخش‌هایی از کلمه) هستند. آن‌ها توکن بعدی را بر اساس احتمالات ریاضیاتی محاسبه می‌کنند. درست مثل یک پیانیست نابغه که بر اساس میلیون‌ها قطعه‌ای که قبلاً شنیده، ملودی جدیدی را بداهه می‌نوازد، بدون اینکه حتی نت یک آهنگ خاص را به صورت مجزا حفظ کرده باشد.

در طول فرآیند آموزش هوش مصنوعی (Training)، تمام داده‌های آشفته، متناقض و ساختارنیافته‌ی اینترنت (از ویکی‌پدیا تا فروم‌های ردیت) به خورد این شبکه‌های عصبی داده شده است. در این اقیانوس بی‌کران از داده‌ها، مدل با یک آشفتگی شدید درباره ایموجی اسب دریایی روبرو می‌شود:

• داده‌های مثبت کاذب: برخی منابع تایید می‌کردند که ایموجی اسب دریایی وجود دارد، اما در عمل از ایموجی ماهی گرمسیری (🐠) استفاده کرده بودند.
• داده‌های منفی: منابع فنی و موثق قاطعانه وجود آن را در استاندارد کیبوردها تکذیب می‌کردند.
• داده‌های نویزدار: هزاران کاربر از ترکیب ایموجی‌ها (مثل اسب 🐴 + آب 💧) به جای هم استفاده کرده بودند که مرزهای معنایی (Semantic Boundaries) را برای ماشین از بین برده بود.

۳ ریاضیاتِ سردرگمی: تشریح تابع Softmax و بن‌بست آماری

وقتی چت‌بات با این سوال صریح روبرو می‌شود، درگیر یک بن‌بست آماری (Statistical Impasse) می‌گردد. برای درک بهتر، باید به لایه خروجی شبکه عصبی (Output Layer) نگاه کنیم. در معماری ترانسفورمر، برای تبدیل اعداد خام (Logits) به احتمالات قابل درک، از تابعی به نام سافت‌مکس (Softmax) استفاده می‌شود.

در واقعیتِ ریاضیاتیِ درون پردازنده‌ها، اتفاقی که می‌افتد حل معادله‌ای شبیه به این فرمول است:

در این فرمول، $P(y_i | x)$ احتمال انتخاب توکنِ بعدی با توجه به کانتکست موجود است. در یک سناریوی عادی، یک پاسخ صحیح (مثلاً توکن "خیر") دارای احتمال بالایی (بالای ۹۰٪) خواهد بود. اما در داستان اسب دریایی، به دلیل تناقض شدید در داده‌های آموزشی، خروجی‌های تابع به شدت به هم نزدیک می‌شوند:

• احتمال انتخاب مسیر پاسخ "بله": ۴۸٪
• احتمال انتخاب مسیر پاسخ "خیر": ۴۹٪
• احتمال فرار و تولید ایموجی‌های مرتبط: ۳٪

وقتی مقادیر احتمال تا این حد به هم نزدیک باشند، مدل در یک «حلقه تردید» گیر می‌افتد. الگوریتم برای شکستن این بن‌بست، به سمت تولید دیجیتال بابل (Digital Babble) یا هذیان‌گویی می‌لغزد و شروع به پرینت کردن 🐠 🐡 🦄 🐴 می‌کند.

۴ حقیقت ماجرا: آیا اسب دریایی در یونیکود وجود دارد؟

برای اینکه بفهمیم هوش مصنوعی چقدر حق داشت که گیج شود، باید به سراغ مرجع اصلی یعنی کنسرسیوم یونیکود (Unicode Consortium) برویم. این سازمان جهانی وظیفه تایید و استانداردسازی تمام ایموجی‌های گوشی‌ها و سیستم‌عامل‌ها را بر عهده دارد.

روند اضافه شدن یک کاراکتر جدید به این استاندارد به شدت سخت‌گیرانه است. واقعیت این است که علیرغم درخواست‌های کاربران در سال‌های متمادی، هیچ ایموجی رسمی و اختصاصی برای اسب دریایی (Seahorse) تصویب نشده است. پاسخ قطعی به سوال کاربر یک «نه» ساده بود، اما چت‌بات نتوانست این حقیقت (Ground Truth) را از میان میلیاردها پارامتر وزن‌دهی شده‌ی خود استخراج کند.

۵ چرا این باگ یک موهبت فلسفی برای مهندسان است؟

شاید در نگاه اول، گیر کردن یک مدل صد میلیارد دلاری روی یک ایموجی، یک نقطه ضعف خنده‌دار به نظر برسد. اما برای مهندسین یادگیری ماشین، این رویداد یک آزمایشگاه زنده است.

«ماجرای اسب دریایی» آینه‌ای تمام‌نماست که نشان می‌دهد وقتی پیش‌بینی آماریِ خالص با ابهام انسانی برخورد می‌کند، چه اتفاقی می‌افتد. این تفاوت اصلی و خط قرمز میانِ "هوش مصنوعی" و "آگاهی انسانی" در مواجهه با مفهوم حقیقت است.

این باگ به ما یادآوری می‌کند که وقتی یک هوش مصنوعیِ پیشرفته روی موضوع ساده‌ای مثل یک ایموجی هذیان می‌گوید، باید در واگذاری تصمیمات حیاتی (مثل تشخیص‌های پزشکی، حقوقی یا کدنویسی سیستم‌های بانکی) به این مدل‌ها به شدت محتاط باشیم.

۶ نقشه راه آینده: درمان هذیان‌گویی ماشین‌ها (RAG و RLHF)

این یک معمای لاینحل نیست. معماری‌های نسل جدید (مانند مدل‌های معرفی شده در سال ۲۰۲۶) در حال رفع این مشکلات هستند. مسیر توسعه سیستم‌های دقیق‌تر شامل سه رکن اساسی است:

• پالایش داده‌های آموزشی (Data Curation): پاکسازی منابع متناقض الزامی است. وزن‌دهی به دیتابیس‌های رسمی (مثل اسناد Unicode) باید بسیار بیشتر از فروم‌های عمومی باشد.
• لایه بازیابی اطلاعات (RAG): در معماری Retrieval-Augmented Generation، مدل به جای تکیه بر حافظه آماریِ پر از خطای خود، ابتدا سوال را در یک پایگاه داده معتبر جستجو می‌کند و پاسخ را به واقعیت (Fact) زنجیر می‌نماید.
• یادگیری تقویتی (RLHF): هوش مصنوعی باید یاد بگیرد که آسیب‌پذیری خود را بپذیرد. مدل‌ها آموزش می‌بینند تا در صورت نزدیکی بیش از حد احتمالات سافت‌مکس، به جای تولید هذیان به سادگی بگویند: "متاسفانه اطلاعات دقیقی در این باره ندارم."