Blog

Claude برای ۱۲۳ کتابخانه‌ی متن‌باز اثبات ریاضی نوشت: Formal Verification بالاخره عملی شد؟

Anthropic و Theorem با Claude ثابت کردند ۲۳۹ fuzz test در ۱۲۳ کتابخانه‌ی OSS-Fuzz روی هیچ ورودی زیر ۶۴ مگابایت crash نمی‌کنند و در این مسیر صدها باگ پنهان پیدا کردند.

23 Oct 2026 · 4 min read · Anthropic · Claude · Formal Verification · امنیت · اوپن‌سورس · هوش مصنوعی · OSS-Fuzz

Claude برای ۱۲۳ کتابخانه‌ی متن‌باز اثبات ریاضی نوشت: Formal Verification بالاخره عملی شد؟

تیم Frontier Red Team شرکت Anthropic به همراه استارتاپ Theorem گزارشی منتشر کرده که اگر درست باشد، یکی از مهم‌ترین اتفاق‌های امسال برای امنیت نرم‌افزار است: با Claude برای ۲۳۹ نقطه‌ی ورود (entry point) در ۱۲۳ کتابخانه‌ی متن‌باز پروژه‌ی OSS-Fuzz گوگل، اثبات ریاضی نوشته‌اند که برنامه برای هیچ ورودی کمتر از ۶۴ مگابایت crash نمی‌کند؛ نه خطای حافظه، نه assert شکسته.

این یعنی Formal Verification، که تا دیروز فقط برای پروژه‌های فوق‌حساس مثل کرنل seL4 یا کد هواپیماهای Airbus صرف می‌کرد، دارد به ابزار روزمره نزدیک می‌شود. برای مقایسه: نوشتن seL4 دو نفر-سال طول کشید و اثبات درستی‌اش ۲۰ نفر-سال.

چطور کار می‌کند؟

ایده ساده و هوشمندانه است: به‌جای اینکه کسی بنشیند و «مشخصات درستی» (spec) برنامه را از صفر بنویسد، همان fuzz testهای موجود را به spec تبدیل کرده‌اند. قانون این است: «این تست برای هیچ ورودی‌ای crash نمی‌کند». بعد کتابخانه روی RISC-V کامپایل می‌شود و Claude باید روی خود کد اسمبلی ثابت کند این قانون همیشه برقرار است. اثبات‌ها در Rocq (همان Coq سابق) نوشته شده‌اند و proof checker آن‌ها را بررسی می‌کند؛ پس لازم نیست آدم ۱۸۰ میلیون خط اثبات را بخواند.

چیزهایی که باید به آن‌ها اعتماد کنید فقط سه تاست: مدل رسمی RISC-V و پروسه‌های لینوکس، صورت دقیق قضیه‌ها، و خود Rocq. اندازه‌ها هم ترسناک است: در مجموع حدود ۱۸۰ میلیون خط Rocq، هر اثبات معمولاً حدود ۶۰۰ هزار خط برای باینری‌هایی با میانه‌ی ۱۸ هزار دستور RISC-V.

باگ‌هایی که fuzzer هیچ‌وقت پیدا نمی‌کرد

جالب‌ترین بخش ماجرا این است که خودِ تلاش برای اثبات، صدها باگ پیدا کرد؛ باگ‌هایی که با وجود تریلیون‌ها اجرای fuzz سال‌ها پنهان مانده بودند. مثلاً یک underflow در decompressor که فقط روی ورودی‌های حدود ۲۰ مگابایتی با چیدمان خاص به نوشتن خارج از محدوده می‌رسید، یا خواندن خارج از محدوده در یک image decoder که ورودی ۶۴ مگابایتی و بیش از ۲ گیگ حافظه می‌خواست. fuzzerها معمولاً ورودی را تا یک مگابایت محدود می‌کنند، پس عملاً شانسی برای دیدن این‌ها نداشتند. Claude باگ‌ها را خودش patch کرد و بعد اثبات را روی کد اصلاح‌شده ادامه داد.

چند آزمایش دیگر هم در گزارش هست: اثبات اینکه پیاده‌سازی zlib در کرنل لینوکس دقیقاً با RFC 1950 منطبق است (این بار روی باینری x86)، نوشتن مفسر بخش بزرگی از Python به زبان Rust و اثبات تطابقش با CPython با Verus (۹۹.۹۵٪ رفتار یکسان روی ۱.۷ میلیون برنامه‌ی تصادفی)، و پیدا کردن در یک هفته به اندازه‌ی یک سال باگ امنیتی در یک PDF reader پرکاربرد.

ارزان‌تر شدن اثبات

مشکل اصلی هزینه است: یک اثبات می‌تواند صدها میلیون توکن بخورد. ولی دو روند امیدوارکننده است. اول، مدل‌های جدیدتر توکن کمتری لازم دارند: روی ۳۶ تسک کوچک، Opus 5.5 نصف تسک‌ها را با حدود ۴۰٪ توکن کمتر از Opus 5 اثبات کرده.

نمودار درصد تسک‌های اثبات‌شده بر حسب بودجه‌ی توکن برای Opus 5.5، Fable 5.1 و Opus 5
Opus 5.5 با توکن کمتری اثبات‌ها را تمام می‌کند. منبع: Anthropic

دوم، اثبات‌ها مثل کد قابل استفاده‌ی مجددند. وقتی ایجنت‌ها اجازه داشتند اثبات‌های همدیگر را کپی کنند، ۱۷٪ توکن کمتر مصرف کردند؛ چون بخش بزرگی از هر اثبات درباره‌ی کدی است که همه‌ی برنامه‌ها دارند، مثل راه‌اندازی C runtime و AddressSanitizer.

نمودار سهم بخش‌های یکسان، ویرایش‌شده و جدید در اثبات‌های libcups، freerdp و libzmq
بیشتر هر اثبات از اثبات‌های قبلی کپی و کمی ویرایش شده است. منبع: Anthropic

محدودیت‌ها

خود Anthropic صریح می‌گوید «Formally verified» یعنی «بدون باگ» نیست. اثبات‌ها فقط برای باینری‌های استاتیک تک‌نخی روی RISC-V با musl برقرارند، در حالی که بیشتر ما این کتابخانه‌ها را روی x86 یا ARM با glibc اجرا می‌کنیم. ASan هم همه‌ی خطاهای حافظه را نمی‌گیرد، همه‌ی entry pointها اثبات نشده‌اند و اگر برنامه‌ای کتابخانه را غلط صدا بزند، اثبات چیزی تضمین نمی‌کند. بخشی از اثبات‌ها در گیت‌هاب Theorem منتشر شده و Theorem یک Claude skill هم برای شروع کار روی پروژه‌های خودتان گذاشته است.

نظر من

به نظرم این مهم‌ترین جواب به ترس این روزهاست که «AI همه‌ی باگ‌ها را پیدا و exploit می‌کند». همان ابزاری که باگ پیدا می‌کند، حالا می‌تواند ثابت کند یک دسته باگ دیگر وجود ندارد. تبدیل fuzz test به spec حرکت هوشمندانه‌ای است، چون گلوگاه اصلی Formal Verification همیشه نوشتن spec بوده، نه فقط اثبات.

ولی هیجان را کنترل کنید: این گزارش را خود Anthropic نوشته، یعنی بخشی از آن تبلیغ Claude است، و فرض‌های اثبات (RISC-V، musl، تک‌نخی) با دنیای واقعی production فاصله دارد. هزینه‌ی صدها میلیون توکن برای هر اثبات هم فعلاً این را ابزار شرکت‌های بزرگ و پروژه‌های زیرساختی می‌کند، نه تیم کوچک ما. اگر روند ارزان شدن ادامه پیدا کند، چند سال دیگر «اثبات» هم مثل CI و تست، بخشی عادی از pipeline کتابخانه‌های مهم مثل OpenSSL و curl می‌شود. شما هم اگر روی کتابخانه‌ی C/C++ کار می‌کنید، وقتش است fuzz testهایتان را جدی‌تر بگیرید.

منابع: گزارش Anthropic · Theorem OSS Verify · اثبات‌های منتشرشده · بحث Hacker News

Comments0

Comments +

00

No comments yet — be the first. هنوز نظری ثبت نشده؛ اولین نفر باش.

Leave a comment

0 / 2000