AI가 수능 풀어보니…제미나이 92점, 한국모델 20점대

(▲참고이미지)

(AI금융교육뉴스=이건희기자)

국내 기업들이 개발한 인공지능(AI) 모델에 대학수학능력시험(수능) 문제를 풀게 한 결과, 오픈AI·구글 등 해외 AI 모델에 비해 성능이 크게 뒤처진 것으로 나타났다.

김종락 서강대 수학과 교수 연구팀은 15일 정부가 추진 중인 ‘국가대표 AI’ 프로젝트에 참여한 5개 국내 기업의 대규모언어모델(LLM)과 챗GPT 등 해외 주요 AI 모델 5종을 대상으로 수능 수학 20문제와 논술 30문제를 풀게 하는 비교 평가를 진행했다고 밝혔다.

연구팀은 수능 수학의 △공통과목 △확률과 통계 △미적분 △기하 영역에서 가장 난도가 높은 문항 5개씩 총 20문제를 선정했다. 여기에 서울 주요 대학 10곳의 논술 기출문제, 인도 대학 입시 문제 10문항, 일본 도쿄대 공대 대학원 입시 문제 10문항을 더해 총 50문제로 평가를 실시했다.

국내 모델로는 정부가 ‘독자 AI 파운데이션 모델 프로젝트’ 정예팀으로 선정한 △업스테이지 솔라 프로-2 △LG AI연구원 엑사원 4.0.1 △네이버 HCX-007 △SK텔레콤 A.X 4.0(72B) △엔씨소프트 라마 바르코 8B 인스트럭트가 참여했다. 정부는 해외 AI 의존도를 줄이기 위해 자국 데이터·인프라·인력 기반의 ‘소버린 AI’ 확보를 추진 중이다.

해외 모델은 △오픈AI GPT-5.1 △구글 제미나이 3 프로 프리뷰 △앤트로픽 클로드 오푸스 4.5 △xAI 그록 4.1 패스트 △딥시크 V3.2가 선정됐다.

평가 결과 해외 모델은 76~92점으로 전반적으로 높은 점수를 기록했다. 제미나이는 92점으로 최고점을 받았고, 클로드 오푸스 4.5는 84점이었다. 반면 국내 모델 중에서는 솔라 프로-2가 58점으로 가장 높았으며, 나머지 모델들은 대부분 20점대에 머물렀다. 경량 모델인 라마 바르코 8B 인스트럭트는 2점에 그쳤다.

연구팀은 국내 모델들이 단순 추론만으로는 문제 해결이 어려워 파이썬(Python) 계산 도구를 사용할 수 있도록 설정했음에도 정답률이 낮았다고 설명했다.

또 자체 개발한 문제 세트 ‘엔트로피매스(EntropyMath)’ 100문제 중 대학생 수준부터 교수급 연구 난도까지 포함한 10문항을 추가해 평가한 결과에서도 격차는 컸다. 해외 모델은 82.8~90점을 기록한 반면, 국내 모델은 7.1~53.3점에 그쳤다.

문제 풀이를 최대 3번까지 시도해 정답을 맞히면 통과로 인정하는 조건으로 완화했을 때도 해외 모델 대부분은 90점 이상을 받았으며, 그록은 만점을 기록했다. 같은 조건에서 솔라 프로-2는 70점, 엑사원은 60점, HCX-007은 40점, A.X 4.0은 30점, 라마 바르코는 20점이었다.

김종락 교수는 “최근 국내 AI 모델의 수능·논술 성능에 대한 문의가 많아 자체 검증을 진행했다”며 “해외 프런티어 모델과의 격차를 줄이기 위해서는 근본적인 모델 구조 개선과 데이터 품질 강화가 필요하다”고 말했다.

이어 “이번 평가는 기존에 공개된 모델을 기준으로 한 만큼, 각 기업의 국가대표 AI 버전이 공개되면 자체 개발 문제를 활용해 다시 성능을 검증할 계획”이라고 덧붙였다.

이건희 기자 gia2026@naver.com ⓒ AI금융교육뉴스 무단 전재 및 재배포 금지