OpenAI, ilaç kimyası için MedChemBench benchmark'ını duyurdu: 99 problem, 761 molekül yapısı
OpenAI'ın yeni benchmark'ı MedChemBench, yapay zekâ modellerinin molekül yapısını deney sonuçlarıyla ilişkilendirip bileşenleri karşılaştırma ve özelliklerini tahmin etme becerisini ölçüyor. Şirkete göre en iyi sonuç GPT-6.2 Astra'nın; ancak bileşen seçimi ve sayısal tahminlerde modeller hâlâ zorlanıyor.

OpenAI, 20 Kasım'da ilaç kimyası (medicinal chemistry) araştırmalarından derlenen yeni bir benchmark yayımladı: MedChemBench. Şirketin tanımıyla benchmark, bir modelin molekülün yapısını deneysel kanıtla ilişkilendirip sonuçları açıklayabilmesini, bileşenleri karşılaştırabilmesini ve özelliklerini tahmin edebilmesini ölçüyor.
Set, yayımlanmış 117 makale ve patentten çıkarılan 99 problemden ve 761 farklı molekül yapısından oluşuyor. Problemlerin çoğunda modele bir araştırma programının belirli bir anı veriliyor: biyolojik hedef, araştırmacıların amacı, o ana kadar denenen bileşenler ve seçilmiş deney bulguları. Model buradan sonrasını kestirmeye çalışıyor.
SiberMagazin Köşe YazılarıSiber güvenlik gündemine yazarlarımızın yorumları.Yazıları oku ›Neler ölçülüyor?
OpenAI benchmark'ı dört başlıkta topluyor:
- Molekül yapıları: çizimlerden ve kimyasal gruplardan kurulan moleküllerde atom bağlantılarının ve stereokimyanın doğru olması.
- Bilimsel akıl yürütme: açıklamaların verilen kanıta dayanması (ör. neden bir bileşenin diğerine tercih edildiği).
- Sıralama ve seçim: bileşen sıralamalarının ve seçimlerinin belirtilen koşullara uyması.
- Özellik tahmini: kaynakta ölçülmüş ya da hesaplanmış değerlere yakınlık; yakınlığa göre kısmi puan veriliyor.
Şirketin verdiği örnekte model, PRMT5 inhibitörleri üzerine önceki sonuçları görüp üç ilişkili bileşenin hücre içi etkinliğini, hücre geçirgenliğini ve karaciğer enzimleriyle parçalanma hızını tahmin ediyor; doğru cevap, modelden saklanan sonraki deneylerde.
Sonuçlar: üreticinin iddiası
OpenAI'ın kendi ölçümüne göre xhigh reasoning ayarında GPT-6.2 Astra mevcut puanın yüzde 84,5'ini aldı; GPT-6 Astra yüzde 83,3, GPT-6.1 Sol yüzde 82,0, GPT-5.6 Sol yüzde 58,2'de kaldı. Yapı bölümünde Astra'nın puanı yüzde 95,4. Değerlendirmede yalnızca OpenAI'ın kendi GPT modelleri yer alıyor; başka şirketlerin modelleri karşılaştırmada yok.
Şirket zayıf noktaları da yazıyor: bileşen seçimi ve sayısal özellik tahmininde Astra puanın yalnızca yaklaşık yarısını alabildi.
Neden önemli?
Bilimsel ajanlar ve "AI ile ilaç keşfi" iddiaları çoğaldıkça bu iddiaları ölçecek, alana özgü testler önem kazanıyor. MedChemBench, modelin metni değil molekülü ve deney verisini ne kadar doğru okuduğunu sınamaya çalışıyor. OpenAI de sınırları açıkça not ediyor: sonuçlar modellerin yeni ilaç keşfedebildiğini ya da laboratuvar kararlarını iyileştirdiğini göstermiyor; kaynak makalelerin eğitim verisinde yer almış olması dışlanamıyor ve her cevap araç, geri bildirim ya da yeni deney olmadan tek denemeyle alındı.
Kimin işine yarar / ne yapabilirsiniz?
- İlaç ve biyoteknoloji ekipleri: Kimya asistanı ya da agent değerlendiriyorsanız rakamları üreticinin kendi testi olarak okuyun; kendi iç problem setinizle tekrar edin.
- Araştırmacılar: Yöntem ayrıntıları duyurudaki makalede; duyuru sayfası setin açık kaynak olup olmadığını ve lisansını belirtmiyor.
- Yöneticiler: Yüzde 84'lük genel puan, seçim ve sayısal tahmin gibi karar verdiren işlerde yarı başarıyı gizleyebilir; bölüm bazlı sonuçlara bakın.
Kaynaklar
Her haberi değil, yalnızca seçtiğiniz üretici ve konulardaki acil uyarıları alın: tarayıcı bildirimi ya da e-posta ile.




