MedChemBench의 종합점수는 AI가 전임상 의약화학 문제를 얼마나 잘 푸는지 보여줍니다. 하지만 실제 신약 후보를 정확히 골라 임상 성공으로 이끄는 능력까지 증명하지는 않습니다. 2026년 11월 9일 공개된 논문에 따르면 이 벤치마크는 최근 논문과 특허 117건에서 만든 문제 99개와 채점 대상 분자 구조 761개로 구성됐습니다.

결과를 해석할 때 가장 먼저 확인할 부분은 배점입니다. 전체 배점에서 분자 구조 재구성이 평균 37.49%, 과학적 근거 설명이 35.78%를 차지하며, 두 항목을 합치면 73.27%입니다. 종합점수의 상당 부분이 구조를 정확히 옮기고 주어진 증거를 설명하는 능력에서 결정되므로, 높은 점수를 곧바로 ‘새로운 신약 후보를 잘 찾는 능력’으로 바꾸어 읽어서는 안 됩니다.

MedChemBench는 무엇을 시험하나?
MedChemBench는 실제 의약화학 연구에서 과거에 내려졌던 의사결정 장면을 재현해 AI의 분석과 예측을 채점하는 회고형 멀티모달 벤치마크입니다. 각 문제에는 당시 연구자가 확인할 수 있었던 생물학적 배경, 분자 구조와 실험 결과가 제공됩니다. 원자료에서 이후에 보고된 결과는 문제에서 감추고 정답과 채점 기준을 만드는 데 사용합니다.
문제는 후보물질 통합 선택 48개, 구조–활성 관계 예측 26개, ADME와 전달 8개, 분자 설계와 열거 6개, 안전성 및 위험 4개, 역합성 4개, 분석법 생물학과 작용기전 3개로 나뉩니다. 단순히 화학 구조 그림을 읽는 데 그치지 않고 효능, 선택성, 세포 실험, 대사, 노출, 안전성과 합성 가능성 등 제시된 증거를 함께 판단하게 합니다. 실제로 99개 문제 중 85개는 둘 이상의 과학 영역을 포함합니다.
다만 문제의 범위는 전임상 신약 발굴입니다. 연구자가 이미 확보한 자료를 바탕으로 어느 화합물을 다음 단계에 올릴지, 국소적인 구조 변화가 어떤 결과로 이어질지, 물질이 목표 부위에 도달하고 머무를 수 있을지를 판단하는 능력을 평가합니다. 임상 개발은 공식 논문이 명시적으로 평가 범위 밖에 둔 영역입니다.

구조·설명·선택·예측은 서로 다른 능력이다
채점 항목은 분자 구조, 과학적 근거, 순위와 후보 선택, 수치·범주 예측으로 구분됩니다. 분자 구조 항목에서는 이성질체 SMILES를 이용해 원자 연결, 결합 위치와 지정된 입체화학을 정확히 재구성했는지 확인합니다. 같은 분자 그래프를 나타낸다면 SMILES 문자열을 다른 순서로 작성해도 인정하지만, 구조가 틀리거나 누락되면 해당 구조 점수는 받을 수 없습니다.
과학적 근거 항목은 제시된 실험 자료를 사용해 판단 이유를 설명했는지를 봅니다. 후보 선택은 요구 조건에 맞는 집합이나 순위를 골랐는지, 수치·범주 예측은 원자료에 보고된 값이나 분류와 얼마나 일치하는지를 평가합니다. 따라서 구조를 정확히 복원한 답변도 다음 후보를 잘못 선택할 수 있고, 설명이 설득력 있어도 예측한 수치가 실제 결과와 다를 수 있습니다.
| 확인할 항목 | 점수가 보여주는 능력 | 확대하면 안 되는 해석 |
|---|---|---|
| 분자 구조 재구성 | 원자 연결과 지정된 입체화학의 정확한 복원 | 유망 후보 선택의 정확도 |
| 과학적 근거 | 제공된 증거를 연결해 판단을 설명하는 능력 | 새로운 발견이 실험으로 검증됐다는 의미 |
| 순위와 후보 선택 | 주어진 조건에 따라 화합물을 고르는 능력 | 전체 개발 과정이나 임상 성공률 |
| 수치·범주 예측 | 효능·물성값 또는 분류 결과와의 일치 정도 | 환자에서의 효과와 안전성 |


실제 문제에서는 무엇을 함께 판단하나?
PRMT5 억제제 문제에서는 화합물 16, 23, 24의 구조를 재구성하고 세포 효능, 막 투과성, 유출 비율과 사람 간 미세소체 고유 청소율을 예측하게 했습니다. 하나의 지표만 고르는 문제가 아니라 분자 그림을 정확히 읽은 뒤 서로 다른 실험값을 함께 다뤄야 하는 과제입니다. 구조 정답과 수치 예측은 별도로 채점되므로 구조를 맞혔다고 해서 물성 예측까지 맞힌 것으로 처리되지 않습니다.
공식 소개 자료가 설명한 후속 결과에서도 물성 간 절충이 드러납니다. 화합물 23은 더 낮은 농도에서 세포 내 PRMT5를 억제한 반면, 화합물 24는 세포 장벽을 더 잘 통과하고 간 효소를 이용한 시험에서 더 느리게 분해됐습니다. 이 사례가 보여주는 것은 한 특성의 개선이 다른 모든 특성의 우위를 보장하지 않는다는 점입니다.
예를 들어 연구자가 다음 실험 후보를 고르는 상황이라고 가정하면, 세포 효능만 보고 화합물을 선택해서는 이 문제의 전체 요구를 충족할 수 없습니다. 투과성, 유출과 대사 관련 결과까지 나누어 보고 어떤 조건을 우선할지 정해야 합니다. 이 예시는 실제 후보를 추천한다는 뜻이 아니라, MedChemBench가 여러 증거와 상충하는 목표를 어떤 방식으로 한 문제 안에 배치하는지 설명하기 위한 것입니다.
종합점수와 세부 점수는 이렇게 구분한다
OpenAI 논문에서 모든 모델에 공통으로 적용한 xhigh 조건에서 GPT-6 Astra는 전체 배점의 83.33%를 얻었습니다. 같은 조건에서 분자 구조 항목은 95.37%, 과학적 근거는 91.05%였지만 순위와 후보 선택은 50.42%, 수치 예측은 47.02%였습니다. 원고에서 이를 반올림해 전체 83.3%, 구조 95.4%, 후보 선택과 수치 예측은 각각 약 절반이라고 표현할 수 있습니다.
따라서 모델 비교 순서는 ‘종합점수가 높은가’에서 끝나지 않아야 합니다. 먼저 맡길 업무가 구조 복원인지, 과학적 설명인지, 후보 우선순위 결정인지, 수치 예측인지 정한 다음 그 업무와 일치하는 세부 점수를 확인해야 합니다. 다음 실험 대상을 고르는 것이 목적이라면 구조 점수가 높다는 이유만으로 판단하지 말고 후보 선택과 예측 항목에서도 성능이 유지되는지 살펴야 합니다.
또 하나의 흔한 실수는 서로 다른 항목의 점수를 같은 난도의 직접 비교값처럼 읽는 것입니다. 공식 자료는 각 항목이 서로 다른 과제와 채점 규칙을 사용한다고 설명합니다. 세부 점수의 차이는 모델의 강점과 남은 과제를 구분하는 자료로 사용할 수 있지만, 구조 점수와 수치 예측 점수의 숫자만으로 두 작업의 절대 난도를 단정할 근거는 아닙니다.
왜 임상 개발 능력까지 판단할 수 없나?
공식 논문은 평가 범위를 전임상 신약 발굴로 한정하며 임상 개발을 범위 밖으로 표시합니다. 그러므로 MedChemBench 점수만으로 환자 대상 효과, 임상 안전성 또는 개발 성공 여부를 계산할 수 없습니다. 역사적 연구 자료와 일치하는 답을 생성했다는 결과를 아직 수행되지 않은 실험이나 환자 대상 결과의 증명으로 바꾸어 말해서도 안 됩니다.
과학적 근거 설명 항목에는 별도의 GPT-6 Astra 심사 모델이 사용됐습니다. 이 심사 모델은 문제와 이미지, 채점 기준과 제출 답변을 보고 각 기준에 0점, 절반 또는 만점을 부여했습니다. 구조 비교와 일부 예측에는 결정적인 규칙이 적용되지만, 설명 점수에는 자동화된 모델 판단이 포함됐다는 점을 결과 해석에 남겨야 합니다.
회고형 평가라는 한계도 있습니다. 문제는 하나의 역사적 사례에서 감춘 결과와 답변이 얼마나 일치하는지를 주로 측정하며, 그 사례가 가능한 모든 상황을 대표한다고 볼 수는 없습니다. 공식 논문은 원자료가 훈련 데이터에 포함됐을 가능성을 배제할 수 없고, 단일 응답 방식이 추가 자료 검색·계산·피드백·반복 수정 능력을 평가하지 않는다고 설명합니다.
주의: 구조 정답과 연구 의사결정은 같은 능력이 아니다
분자 구조를 정확히 옮기는 능력은 중요하지만, 어떤 후보를 합성하고 다음 실험에 올릴지 결정하는 능력을 대신하지 않습니다.
구조가 틀리면 다른 분자를 분석하게 되므로 정확한 재구성은 의약화학 추론의 기초입니다. 그러나 정확히 재구성된 구조를 놓고도 효능, 선택성, 투과성, 대사와 안전성처럼 함께 고려할 조건이 남습니다. 실제 후보 선택에는 여러 조건 아래의 불완전한 증거를 비교하는 별도의 판단이 필요합니다.
반대로 후보 선택 점수가 기대보다 낮다고 해서 구조·설명 능력까지 모두 낮다고 결론 내릴 수도 없습니다. MedChemBench가 항목을 나누어 공개하는 이유는 모델이 어느 부분에서 강하고 어디에서 오류를 내는지 구별하기 위해서입니다. 도입 목적과 다른 세부 항목을 근거로 모델 전체를 평가하면 점수가 제공하는 정보보다 넓은 결론을 만들게 됩니다.
MedChemBench 결과를 읽는 마지막 확인
- 평가 범위가 전임상 의약화학이며 임상 개발은 포함하지 않는지 확인합니다.
- 종합점수와 함께 구조, 과학적 근거, 후보 선택, 수치·범주 예측 점수를 각각 봅니다.
- 맡기려는 업무와 직접 대응하는 채점 항목을 먼저 정합니다.
- 과학적 근거 점수에 별도 모델의 자동 채점이 포함됐음을 기록합니다.
- 회고형 단일 응답 결과를 새로운 실험 성과나 임상 성공의 증명으로 표현하지 않습니다.
MedChemBench는 AI가 복잡한 의약화학 자료를 읽고 구조·설명·선택·예측을 수행하는 수준을 세분해 확인하는 자료입니다. 활용할 때는 가장 높은 숫자보다 실제로 맡길 작업과 대응하는 세부 항목, 평가 범위와 한계를 함께 판단해야 합니다. 지금 검토하는 업무는 구조 복원, 후보 우선순위 결정, 수치 예측 가운데 어느 항목에 가장 가깝나요?
자료·사진 출처
사진 출처 · Benzene-3D-molecular-model-engraved-CAS-71-43-2 — MolGod Scientific · CC BY-SA 4.0 (크기·압축 최적화) / 1-Undecanol molecular model — RandomKatze · CC0 (크기·압축 최적화) / Model molecular àcid salicílic — Joel Gonzàlez · CC BY-SA 4.0 (크기·압축 최적화)
답글 남기기