Blog

BioBasicsBench: بهترین مدل OpenAI هنوز یک سوم کارهای روزمره‌ی آزمایشگاه را درست انجام نمی‌دهد

OpenAI با همکاری شرکت بیوتک Ligo بنچمارک BioBasicsBench را معرفی کرد: ۱۰۰ کار روزمره‌ی آزمایشگاه wet-lab روی داده‌ی خام، از عکس ژل و پلیت باکتری تا ویدیوی میکروسکوپ. GPT-6 Astra با ۶۶٫۷٪ اول شد، ولی هنوز کلونی‌ها را حدود ۱۲٪ بیشتر از واقعیت می‌شمارد و گاهی به جای داده‌ها به فرض‌هایش اعتماد می‌کند.

7 Nov 2026 · 3 min read · AI · OpenAI · Benchmark · BioBasicsBench · Biology · Wet Lab · GPT-6 Astra · Multimodal · Science

BioBasicsBench: بهترین مدل OpenAI هنوز یک سوم کارهای روزمره‌ی آزمایشگاه را درست انجام نمی‌دهد

مدل‌های هوش مصنوعی در بنچمارک‌های علمی عددهای عجیبی می‌گیرند، ولی بیشتر آن بنچمارک‌ها از نمودارها و عکس‌های تمیز مقاله‌ها ساخته شده‌اند. آزمایشگاه واقعی این شکلی نیست. ژل کج می‌افتد، عکس پلیت تار است، کنترل‌ها با هم نمی‌خوانند و یادداشت‌ها دست‌نویس‌اند. OpenAI روز ۶ نوامبر، با همکاری Ligo که یک شرکت بیوتک فعال در طراحی آنزیم است، BioBasicsBench را معرفی کرد. این بنچمارک دقیقاً همین داده‌های خام و نامرتب را جلوی مدل می‌گذارد.

داخل بنچمارک چیست؟

  • ۱۰۰ کار در پنج حوزه: روش‌های پروتئین، تصویربرداری و سایتومتری، اندازه‌گیری و assay، روش‌های اسید نوکلئیک و کلونینگ مولکولی.
  • داده‌ی خام واقعی: عکس ژل و بلات (۳۱ کار)، عکس پلیت آگار، استک میکروسکوپ، فایل FASTQ، خروجی plate reader، یادداشت دست‌نویس و حتی ویدیوی کار روی میز آزمایشگاه.
  • نمره‌دهی با rubric: هر کار معیارهای جدا دارد، پس نتیجه‌ی درست از تحلیل نیمه‌درست جدا می‌شود. گاهی جواب درست این است که «داده برای این نتیجه کافی نیست».
  • کارها را دانشمندها از داده‌ی آزمایش‌های خودشان ساخته‌اند و هر کار سه مرحله بازبینی شده، از جمله توسط یک دانشمند PhD بیرونی.
عکس ژل الکتروفورز DNA
ژل الکتروفورز، پرتکرارترین نوع داده در BioBasicsBench؛ ۳۱ کار از ۱۰۰ کار با عکس ژل یا بلات سروکار دارند. منبع: Wikimedia Commons

نتیجه‌ها چه شد؟

هفت مدل در ۳۷ تنظیم مختلف تست شدند، هر کار پنج بار، که در مجموع ۱۸٬۵۰۰ نتیجه می‌شود. در بالاترین سطح reasoning (xhigh):

GPT-6 Astra با ۶۶٫۷٪ اول است (بازه‌ی اطمینان ۶۰٫۳ تا ۷۳٫۱). بعد GPT-6.1 Sol با ۶۲٫۰٪ و GPT-5.6 Sol با ۴۳٫۸٪ می‌آیند. نکته‌ی جالب این است که Astra با حدود ۴٬۷۰۰ توکن خروجی برای هر کار به این نتیجه رسیده، در حالی که GPT-5.2 با نزدیک ۲۷٬۶۰۰ توکن فقط ۳۱٫۲٪ گرفته است. یعنی پیشرفت از «فکر کردن بیشتر» نیامده، از دیدن بهتر آمده است.

Astra کجا بهتر شده؟

  • برچسب پلیت را خوانده: در یک آزمایش کلونینگ، GPT-5.6 Sol روی پلیت کنترل منفی کلونی ندید و بر همین اساس نتیجه گرفت. Astra متوجه شد روی لبه‌ی پلیت نوشته شده LB Kan50، یعنی آنتی‌بیوتیک اشتباه (کانامایسین به جای آمپی‌سیلین)، و آن کنترل را رد کرد.
  • z-stack را شناخته: سلول‌هایی که در فیلم میکروسکوپ محو و ظاهر می‌شدند را درست تشخیص داد: تصویربرداری در عمق‌های مختلف است، نه اتفاق زیستی.
  • زیاده‌روی نکرده: وقتی سیگنال دو رنگ فلورسنت روی هم می‌افتاد، به جای «سلول‌ها مرده‌اند» گفت کنترل بهتری لازم است.

هنوز کجا اشتباه می‌کند؟

  • فرض را به داده ترجیح می‌دهد: در یک colony PCR گروه‌بندی باندها را درست دید، ولی فرض کرد محصول بزرگ‌تر یعنی کلونینگ موفق. چاهک‌های ۴، ۶، ۷ و ۸ را انتخاب کرد، در حالی که مقایسه با کنترل‌ها ۵، ۹ و ۱۰ را نشان می‌داد. نتیجه این می‌شد که پلاسمید اشتباه خالص‌سازی شود.
  • شمارش کلونی: کلونی‌های نزدیک به هم را یکی حساب کرد، چندتا را جا انداخت و آگار خالی را کلونی شمرد. نتیجه حدود ۱۲٪ بیش‌شماری بود که مستقیم تخمین بازده ترانسفورماسیون را بالا می‌برد.

نظر من

به نظرم ارزش این بنچمارک در عدد ۶۶٫۷٪ نیست، در نوع خطاهایی است که نشان می‌دهد. خطای مدل در آزمایشگاه شبیه خطای یک دانشجوی تازه‌کار است: فرض ذهنی‌اش را به داده ترجیح می‌دهد و وقتی شواهد با حدسش نمی‌خواند، نادیده‌شان می‌گیرد. برای یک دستیار آزمایشگاه این خطرناک‌ترین نوع خطاست، چون جواب با اطمینان کامل داده می‌شود.

اگر در آزمایشگاه از این مدل‌ها برای تحلیل عکس ژل یا شمارش کلونی استفاده می‌کنید، خروجی را تأیید نهایی حساب نکنید، یک نظر دوم بدانید. چیزهای ساده و تکراری، مثل شمارش کلونی، را با یک نمونه‌ی دستی هر چند وقت یک‌بار کالیبره کنید. از مدل هم بخواهید محدودیت داده را جدا بنویسد، نه فقط نتیجه را.

منبع: اطلاعیه‌ی OpenAI

Comments0

Comments +

00

No comments yet — be the first. هنوز نظری ثبت نشده؛ اولین نفر باش.

Leave a comment

0 / 2000