مدلِ ۱۲۵ میلیاردیِ Qwen روی کارت گرافیکِ ۸ گیگ؟ خودمون اجراش کردیم و ۶ تا چالش بهش دادیم

۲۸ آبان ۱۴۰۵ · ۲:۳۲ دقیقه

درباره‌ی این ویدیو

یه نفر توی Reddit نوشته با یه کارت گرافیکِ ۸ گیگ و ۳۲ گیگ رم، مدلِ تازه و رایگانِ Qwen3.8-Flash-Next (۱۲۵ میلیارد پارامتر، حدودِ ۶ میلیاردش برای هر توکن) رو با سرعتِ ۳۰ تا ۴۵ توکن در ثانیه اجرا کرده، و از مدل‌های کوچیک‌ترِ Qwen بهتر جواب گرفته. ما روی کامپیوترِ خودمون، با همون برنامه (Strata) و همون فایل (Gyro-S)، نصبش کردیم و به چالش کشیدیمش.

🧪 تستِ ما (۹ آبان ۱۴۰۵؛ RTX 4060 هشت گیگ، i7-14700F، ۳۲ گیگ رم، ویندوز ۱۱):• سرعتِ نوشتنِ جواب: ۱۶٫۲ توکن در ثانیه (اون: ۳۰ تا ۴۵؛ عددِ خودِ Strata برای یه کارتِ ۸ گیگِ دیگه: ۱۵٫۸)• سرعتِ خوندنِ سؤال: ۶۶ تا ۱۰۹ توکن در ثانیه، روی سؤال‌های ۱ تا ۱۸ هزار توکنی (اون: ۸۰۰ تا ۱۰۴۰، روی متن‌های ۱۳۱ تا ۲۶۲ هزار توکنی؛ پس دقیقاً قابلِ مقایسه نیست)• با حافظهٔ ۱۳۱ هزار توکنی هم اجرا شد، ولی رم پر شد و سرعت به حدودِ ۱۱ رسید (بینِ ۳٫۸ و ۱۹٫۵)• شش چالش با چکِ خودمون (فاکتورِ فارسی با Python، بازیِ Flappy Bird، پلیکانِ سوارِ دوچرخه به SVG، درست کردنِ ۳ ایراد با ۶ تست، متنِ فارسی با ۳ سؤال، معمای ریاضی): ۶ از ۶

⚠️ واقعیتش:• با فایل‌هایی که Strata کنارش می‌سازه، حدودِ ۸۷ گیگ از دیسک رو می‌گیره، و رمِ ۳۲ گیگیِ ما کامل پر شد (چند برنامهٔ دیگه هم باز بود)؛ بهتره موقعِ کارش برنامه‌های دیگه رو ببندی.• بارِ اول بالا نیومد؛ بارِ دوم توی ۳۵ ثانیه آماده شد.• اون کاربر روی لینوکس و یه لپ‌تاپِ دیگه تست کرده، و خودش گفته روی ویندوز کُندتره؛ تستِ استاندارد هم نگرفته.• همون شش چالش رو از طریقِ API به Qwen3.8-27B و Qwen3.6-35B-A3B هم دادیم: ۲۷B هم ۶ از ۶ گرفت، ۸ تا ۳۵ برابر سریع‌تر؛ ۳۵B پنج از شش. کلِ تستِ آنلاین ۴ سنت شد. پس توی تستِ ما، «بهتر از مدلِ کوچیک‌تر» دیده نشد؛ همون‌قدر خوب، ولی خیلی کُندتر.• مجوزش Qwen Community License هست: استفادهٔ رایگان، حتی تجاری؛ ولی یه محصولِ خیلی بزرگ، یا فروشِ خودِ مدل و دستیارِ کاری به‌عنوانِ سرویس، مجوزِ جدا از Qwen می‌خواد.• این فایل با llama.cpp رسمی باز نمی‌شه؛ فقط با Strata و چند نسخهٔ دیگه.

🔁 قسمت‌های قبلی: یه AI agent تنها یا یه تیم؟ https://www.youtube.com/shorts/KTTQaRIxLWw · سئو با Claude Code: ۶۹ از ۱۰۰ https://www.youtube.com/shorts/lzLJzGhfdGY

🔗 صفحهٔ رسمیِ مدل: https://huggingface.co/Qwen/Qwen3.8-Flash-Next🔗 فایلِ Gyro-S: https://huggingface.co/agentionai/Qwen3.8-Flash-Next-Gyro-GGUF🔗 برنامهٔ Strata: https://github.com/Niko1221/Strata🔗 پستِ Reddit: https://www.reddit.com/r/LocalLLaMA/comments/1xft2ae/have_8_gb_of_vram_and_32_gb_of_ram_you_can_run/

🤔 اگه یه هوش مصنوعی روی کامپیوترِ خودت داشتی، اولین کاری که بهش می‌سپردی چی بود؟

لینک‌ها همین‌جاست، راحت برشون دار؛ برای حمایت از ما یه کامنت معنادار برامون بذار، مرسی.

📺 ویدئوهای کامل توی یوتیوب: https://www.youtube.com/channel/UCUqCogNdv3t6xi78zi-gvHA🤝 می‌خوای هوش مصنوعی رو توی کسب‌وکارت پیاده کنی؟ https://mrmp.pro#هوش_مصنوعی #Qwen #اخبار_هوش_مصنوعی