۹۰٪ کارهای واقعی آدمها در هیچ بنچمارک هوش مصنوعی نیست
پژوهش Benchmark Map شرکت Mercor نشان میدهد ۲۹ بنچمارک مهم AI فقط ۲۰۸ شغل از ۹۲۳ شغل آمریکا را پوشش میدهند و حدود ۹۰٪ ساعتهای کاری روی تسکهایی میگذرد که تقریباً هیچ بنچمارکی آنها را نمیسنجد.
17 Oct 2026 · 3 min read · هوش مصنوعی · بنچمارک · Mercor · بازار کار · LLM · ارزیابی مدل
هر هفته یک مدل جدید با یک جدول پر از عدد بنچمارک معرفی میشود و همه میگویند «فلان مدل در فلان کار از انسان بهتر شد». ولی سؤال اصلی این است: این بنچمارکها اصلاً چقدر از کارهای واقعیِ آدمها را اندازه میگیرند؟ Mercor در پژوهش تازهاش به اسم Benchmark Map دقیقاً همین را بررسی کرده و جواب، حداقل فعلاً، ناامیدکننده است: حدود ۹۰٪ ساعتهای کاری آمریکاییها صرف کارهایی میشود که بنچمارکهای فعلی تقریباً پوشش نمیدهند.
چطور اندازه گرفتند؟
Mercor اقتصاد آمریکا را با طبقهبندی O*NET وزارت کار آمریکا شکسته: ۹۲۳ شغل و ۱۸٬۷۹۷ «تسک». بعد ۲۹ بنچمارک باکیفیت و اقتصادی (از جمله بنچمارکهای APEX خودشان) را انتخاب کرده؛ معیارها این بوده که عمومی باشند، تسکها ایجنتی باشند (یعنی مدل واقعاً کار را انجام دهد، نه فقط توصیه کند)، به کار واقعی شبیه باشند و هنوز اشباع نشده باشند. یک داور LLM هر پرامپت بنچمارک را به تسکهای O*NET مرتبط برچسب زده و یک تسک وقتی «پوششدادهشده» حساب شده که دستکم ۵ پرامپت به آن نگاشت شده باشد.
یافتههای اصلی
- فقط ۲۰۸ شغل از ۹۲۳ حداقل یک تسک با ۵ پرامپت بنچمارک دارند و ۶ خانوادهی شغلی از ۲۲ خانواده هیچ شغلی با این سطح پوشش ندارند.
- پوشش تصادفی نیست: تسکهایی که «در معرض هوش مصنوعی» حساب میشوند حدود ۶ برابر بیشتر در بنچمارکها دیده میشوند. برای همین بنچمارکها پر از مهندسی نرمافزار و تحلیل مالیاند و تقریباً خبری از رانندگی کامیون یا کار در نیروگاه نیست.
- حتی با کنترل این عامل، شغلهایی که مجموع دستمزدشان بزرگتر است بیشتر پوشش گرفتهاند. مثلاً کارهای وکلا خوب پوشش داده شده، ولی منشی حقوقی و کارمند دادگاه که به همان اندازه در معرض AI هستند تقریباً هیچ.
- تسکهایی که کارشناسان O*NET مهمترین میدانند ۶ تا ۱۰ برابر بیشتر از کماهمیتترینها در بنچمارکها هستند.
وزندهی بر اساس O*NET چه فرقی میکند؟
Mercor یک آزمایش هم روی بنچمارکهای APEX برای چهار شغل (بانکداری سرمایهگذاری، وکالت، حسابداری و مهندسی نرمافزار) انجام داده: بهجای میانگین سادهی همهی پرامپتها، به هر تسک O*NET وزن برابر دادهاند. نتیجه؟ فرق زیادی نکرد. مثلاً در بانکداری سرمایهگذاری Claude Opus 5.5 از ۷۳.۳٪ به ۷۰.۲٪ رسید و GPT-6 Astra از ۶۵.۵٪ به ۶۱.۸٪. ولی خودشان میگویند کمتر از یکسوم تسکهای این چهار شغل اصلاً آنقدر پرامپت داشتند که وارد محاسبه شوند.
خود Mercor هم محدودیتها را صادقانه گفته: فهرست ۲۹ بنچمارک کامل نیست و همین تخمین پوشش را پایینتر نشان میدهد، داوری LLM خطا دارد، و طبق برآورد Dingel و Neiman فقط ۳۷٪ مشاغل آمریکا کاملاً از خانه قابل انجاماند؛ یعنی بخش بزرگی از کارها جزء فیزیکی دارند که با بنچمارکهای فعلی اصلاً قابل سنجش نیست.
نظر من
این یکی از معدود پژوهشهایی است که بهجای «مدل ما X درصد بهتر شد»، میپرسد اصلاً داریم چه چیزی را اندازه میگیریم. من کاملاً با پیامش موافقم: وقتی تیترها میگویند AI در «کار دانشی» به سطح انسان رسیده، معمولاً منظورشان کدنویسی، ریاضی و چند کار مالی است. برای ما برنامهنویسها این یعنی دو چیز: اول اینکه بنچمارکهای حوزهی ما واقعاً از بقیه جلوترند، پس عددهایی که دربارهی مدلهای کدنویسی میبینیم نسبتاً معنیدارترند. دوم اینکه اگر محصولی برای حوزهای مثل سلامت، آموزش یا کارهای اداری میسازید، نباید به عدد بنچمارکهای عمومی تکیه کنید؛ باید eval خودتان را با تسکهای واقعی کاربرانتان بسازید.
البته فراموش نکنیم Mercor خودش در کار فروش داده و بنچمارک به آزمایشگاههای AI است، پس طبیعی است که بگوید «بنچمارک کم داریم». ولی دادهها و روششناسیاش شفاف است و حرفش منطقی؛ این نقشه را باید هر بار که یک ادعای بزرگ دربارهی «جایگزینی مشاغل با AI» شنیدید، یادتان باشد.
منبع: Mercor — A benchmark map of the US economy · بحث در Hacker News
Comments +
00No comments yet — be the first. هنوز نظری ثبت نشده؛ اولین نفر باش.