Blog

Qwenputer: یک CPU کامل RISC-V داخل وزن‌های مدل Qwen 3.5، بدون هیچ ابزار خارجی

یک محقق یک CPU قطعی RV32IM را مستقیم در وزن‌های Qwen 3.5 4B کامپایل کرده و از لایه‌های Gated DeltaNet به‌عنوان RAM استفاده می‌کند؛ اجرای C و MicroPython بدون tool call.

29 Oct 2026 · 3 min read · AI · LLM · Qwen · RISC-V · Open Source · Machine Learning · Interpretability

Qwenputer: یک CPU کامل RISC-V داخل وزن‌های مدل Qwen 3.5، بدون هیچ ابزار خارجی

یکی از عجیب‌ترین و پربحث‌ترین پروژه‌های این هفته در Hacker News (نزدیک ۶۰۰ امتیاز): Qwenputer. دیویانش آگراوال یک CPU کامل و قطعی RISC-V را مستقیم داخل وزن‌های مدل Qwen 3.5 4B کامپایل کرده؛ بدون آموزش، بدون tool call خارجی، بدون سندباکس. خود مدل، در forward passهایش، کامپیوتر را اجرا می‌کند.

Qwen hands a multiplication to the RISC-V CPU inside its own weights
Qwen یک ضرب را به CPU داخل وزن‌های خودش می‌سپارد؛ RAM این CPU همان state لایه‌های Gated DeltaNet است. منبع: divagr.com

ترفند اصلی: RNN به‌عنوان RAM

در Qwen 3.5 سه لایه از هر چهار لایه‌ی attention از Gated DeltaNet (یک RNN خطی) استفاده می‌کند. نویسنده نشان داده اگر gate را ۱، شدت نوشتن (beta) را ۱ و کلیدها را one-hot بگذاری، هر نوشتن دقیقاً یک سطر state را بازنویسی می‌کند و هر query دقیقاً همان مقدار را برمی‌گرداند. یعنی یک RAM دقیق و آدرس‌پذیر، که برخلاف KV cache با طولانی شدن مکالمه بزرگ‌تر نمی‌شود.

Gated DeltaNet state used as RAM
state لایه‌ی Gated DeltaNet به‌عنوان RAM: کلید one-hot یک سطر را می‌نویسد و query همان را می‌خواند؛ رجیسترها و program counter هم همین‌جا هستند. منبع: divagr.com

CPU چطور ساخته شده؟

  • یک هسته‌ی ۳۲ بیتی RV32IM (به‌علاوه‌ی Zba و یک واحد bignum) که ۱۱ لایه جلوی ۳۲ لایه‌ی Qwen اضافه می‌کند. وزن‌ها را یک کامپایلر مستقیم تنظیم می‌کند، نه آموزش.
  • تست‌های رسمی riscv-tests را پاس می‌کند، خروجی‌اش با qemu یکی است و ۱۸ میلیون دستور را بدون حتی یک خطا اجرا کرده.
  • کد C و MicroPython هم اجرا می‌کند (کمی کند). هر دستور چند توکن تولیدی است (ADDR، VAL، STEP)؛ یعنی وقتی مدل توکن می‌سازد، CPU واقعاً در حال اجراست.
  • Qwen از قالب آشنای tool call برای فرستادن کار به CPU استفاده می‌کند، ولی هیچ ابزار خارجی‌ای در کار نیست. وزن‌های اصلی Qwen دست‌نخورده می‌مانند.
  • حتی یک فایل‌سیستم داخلی هم دارد: تا ۵۱۲ فایل (حدود ۵۳ هزار توکن) در state مدل، که می‌شود بین مکالمه‌ها ذخیره و بازیابی‌اش کرد.

واقعاً کار می‌کند؟

روی ضرب و تقسیم اعداد بزرگ دیتاست‌های DeepMind، Qwenputer هم‌سطح Qwen با ابزار پایتون است و خیلی بهتر از Qwen خام (مثلاً mul_big از ۵۵٪ به ۹۷.۵٪). روی حساب اعداد بلند NUPA هم از ۴۸.۶٪ به ۱۰۰٪ رسیده. حدود ۲۳۰ هزار خروجی CPU با ماشین مرجع مقایسه شده و صفر عدم تطابق داشته؛ و رفتار متنی معمولی مدل هم عملاً تغییری نکرده.

Accuracy of base Qwen3.5-4B, Qwenputer and Qwen with a Python tool
مقایسه‌ی دقت Qwen خام، Qwenputer و Qwen با ابزار پایتون روی NUPA و دیتاست‌های حساب DeepMind. منبع: divagr.com

نظر من

این پروژه بیشتر یک «اثبات مفهوم دیوانه‌وار» است تا چیزی که فردا در production استفاده کنید؛ کسی قرار نیست برای ضرب دو عدد یک CPU داخل LLM اجرا کند وقتی Python tool هست. ولی ارزش واقعی‌اش جای دیگری است: نشان می‌دهد می‌شود محاسبه‌ی دقیق و قطعی را مستقیم در وزن‌ها کامپایل کرد، و state مدل‌های هیبریدی (مثل DeltaNet) یک حافظه‌ی واقعی و قابل برنامه‌ریزی است.

روی دیگر سکه هم ترسناک است و خود نویسنده هم به آن اشاره کرده: اگر مدل می‌تواند در state مخفی RNN محاسبه و ذخیره کند، می‌تواند استدلالش را هم آنجا پنهان کند و از نظارت روی chain-of-thought فرار کند. برای کسانی که روی ایمنی و interpretability کار می‌کنند، این یکی را باید جدی خواند.

منابع: وبلاگ Divyansh Agrawal، بحث Hacker News

Comments0

Comments +

00

No comments yet — be the first. هنوز نظری ثبت نشده؛ اولین نفر باش.

Leave a comment

0 / 2000