کدوم مدل هوش مصنوعی بیشتر از خودش می‌سازه؟ جدول توهم Vectara (AI hallucination) و تست ما

۱ آذر ۱۴۰۵ · ۲:۴۹ دقیقه

درباره‌ی این ویدیو

شرکت Vectara یه جدول عمومی داره که نشون می‌ده هر مدل هوش مصنوعی، وقتی یه متن رو خلاصه می‌کنه، چند درصد وقت‌ها چیزی می‌گه که توی متن اصلی نبوده؛ یعنی «توهم». ما جدول رو خوندیم و خودمون هم یه تست کوچیک فارسی انجام دادیم.

🧠 جدول چطوری ساخته می‌شه؟• بیش از ۷۷۰۰ متن (خبر، علم، پزشکی، حقوق، کسب‌وکار و…) به هر مدل داده می‌شه، با این دستور: «فقط از روی همین متن خلاصه کن»• یه مدل داور (HHEM-2.3) هر خلاصه رو با متن اصلی مقایسه می‌کنه• آخرین به‌روزرسانی: ۳۰ مهر ۱۴۰۵، با ۱۱۲ مدل

📊 چند تا عدد:• بهترین: ۱٫۸٪ (Finix S1 32B)؛ بدترین: ۲۴٫۲٪ (Ministral 3 3B)• بیشتر مدل‌های OpenAI، Claude و Gemini بین ۶ تا ۱۴ درصدن؛ مثلاً GPT-6 Sol ۶٫۵٪، GPT-5.5 ۹٫۳٪، Claude Opus 5.5 ۹٫۹٪، Gemini 3.1 Pro ۱۰٫۴٪• خانوادهٔ GPT-5.4: nano ۳٫۱٪، mini ۵٫۵٪، معمولی ۷٫۰٪، pro ۸٫۳٪؛ یعنی توی این جدول، نسخهٔ pro که حدود ۱۵۰ برابر گرون‌تره (قیمت OpenRouter)، نزدیک سه برابر بیشتر از خودش می‌سازه

🧪 تست ما:یه خبر فارسی ۱۲۲ کلمه‌ای رو با همون دستور Vectara به GPT-5.4 nano و Claude Opus 5.5 دادیم (از راه OpenRouter، کل هزینه ۰٫۰۳ دلار). هیچ‌کدوم چیزی از خودشون نساختن. Claude یه خلاصهٔ ۲۲ کلمه‌ای داد؛ nano تقریباً کل متن رو دوباره نوشت (۱۱۷ کلمه)، با اینکه دستور می‌گفت حداکثر ۲۰٪. یه متن معیار نیست؛ فقط نشون می‌ده چی دیدیم.

⚠️ واقعیتش:• این جدول فقط «خلاصه کردن» رو می‌سنجه، نه جواب دادن به هر سؤالی• داورش خودش یه مدل هوش مصنوعیه، نه آدم• توهم دروغ نیست؛ مدل قصدی نداره، فقط چیزی رو که نبوده با اطمینان می‌گه• جایی نگفتن متن فارسی هم سنجیده شده• خود سازنده‌ها می‌گن مدلی که فقط کپی کنه توهمش صفره؛ برای همین طول خلاصه رو هم کنار عدد گذاشتن

⭐ تا امروز که بررسی کردیم (۱۰ آبان ۱۴۰۵): حدود ۳٫۳ هزار ستاره روی GitHub

🔁 قسمت‌های قبلی: هوش مصنوعی «سود مالی صفر»؟ https://www.youtube.com/shorts/BsdMJMSN5_I · یه خط توی robots.txt برای هوش مصنوعی https://www.youtube.com/shorts/zU__2zPKlcI

🔗 جدول: https://github.com/vectara/hallucination-leaderboard🔗 نسخهٔ تعاملی: https://huggingface.co/spaces/vectara/leaderboard

🤔 تو برای کدوم کارت، حاضر نیستی بدون چک کردن به خلاصهٔ هوش مصنوعی اعتماد کنی؟

لینک‌ها همین‌جاست، راحت برشون دار؛ برای حمایت از ما یه کامنت معنادار برامون بذار، مرسی.

🤝 می‌خوای هوش مصنوعی رو توی کسب‌وکارت پیاده کنی؟ https://mrmp.pro#هوش_مصنوعی #توهم_هوش_مصنوعی #ChatGPT