보도자료
- 배포일
- 2026. 7. 31.(금)
- 보도시점
- 즉시 보도 가능
- 배포처
- 쥬리서포트 주식회사
- 문의
- 하희봉 대표이사 / 070-4800-6311, 010-6277-1417 / admin@jurisupport.com
AI, 변호사시험 선택형 전 과목 만점 — 법률 리서치 도구 붙이자 150문항 전부 정답
— 공법·민사법·형사법 선택형 각 3회 실행, 9회 전부 만점 … 도구 없는 대조군과 최대 7점 차
— 실험 계획 사전등록, 답안·로그 해시 봉인, 암기 검증까지 전 과정 GitHub 공개
쥬리서포트 주식회사(대표이사 하희봉)는 법률 리서치 도구를 결합한 AI가 제15회 변호사시험 선택형 전 과목(공법·민사법·형사법, 총 150문항)에서 만점을 기록했다고 31일 밝혔다.
실험은 과목별로 진행됐다. 공법 선택형 40문항은 GPT-5.6 Sol이, 민사법 선택형 70문항과 형사법 선택형 40문항은 Claude Opus 5가 풀었다. 세 과목 모두 법령·판례·교재를 검색할 수 있는 JuriSupport 법률 리서치 도구를 연결한 조건에서 각 3회씩 실행했다. 9회 전부 만점이었다. 채점은 법무부가 공고한 정답을 기준으로 했다.
같은 모델에서 리서치 도구만 뗀 대조군은 한 번도 만점을 기록하지 못했다. 공법은 평균 33/40, 민사법은 3회 모두 65/70, 형사법은 37·35·36/40에 그쳤다. 최신 AI 모델도 자체 지식만으로는 판례·조문의 세부에서 번번이 틀렸다. 그 격차를 법률 리서치 도구가 메웠다. 민사법·형사법에서 도구를 쓴 조건은 세 차례 답안 배열이 한 문항도 다르지 않을 만큼 안정적이었다.
이번 결과의 의의는 도구의 구성에 있다. 실험에 연결한 리서치 도구는 공개된 법령·판례 데이터와 이미 보유한 교재를 검색 가능한 데이터베이스로 구축한 것이 전부다. 특별한 비공개 자료 없이 오픈소스와 서가의 책을 정리하는 것만으로 변호사시험 만점이 나온 셈이다.
실험에 쓴 도구 자체도 오픈소스로 공개되어 있다. 사건 등록부터 서면 작성까지 한국 송무 워크플로우를 자동화하는 '쥬리서포트 플러그인'(github.com/jurisupport/jurisupport-plugins)과, 사무소가 보유한 법률서적을 데이터베이스화해 저자·판수·페이지까지 인용하는 'legal-books'(github.com/jurisupport/legal-books)다. 둘 다 MIT 라이선스여서 누구나 무료로 쓸 수 있다. 터미널을 처음 여는 변호사도 따라 할 수 있도록 설치부터 가상사건 실습까지 정리한 안내서(jurisupport.github.io/jurisupport-plugins)도 함께 공개되어 있다. 같은 인프라를 갖추면 어느 변호사든 의뢰인에게 정확하고 빠른 법률정보를 제공할 수 있다.
"점수가 아니라 검증 절차가 핵심"
이번 실험에서는 결과 못지않게 검증 절차에 무게를 뒀다. 실행 전에 실험 계획과 문항·정답표·프롬프트 등 조건 파일의 해시(SHA-256)를 사전등록했다. 실험을 지휘하는 세션은 정답표를 열람하지 못하게 차단했다. 대조군과 본실험은 교차로 실행한 뒤 회차마다 답안과 로그를 해시와 함께 봉인했다. 실험 후에는 모델이 문항이나 정답을 학습 과정에서 외웠는지 확인하는 별도 검증(암기 프로브)도 거쳤다. 문항을 제공하지 않은 상태에서 정답 번호와 지문 복원을 요구한 결과, 재생은 0건이었다.
사전등록부터 봉인 답안, 전체 실행 로그, 분석 코드까지 전 과정은 누구나 검증할 수 있도록 GitHub에 공개됐다.
과목별 결과 요약
| 과목 | 모델 | 도구 사용 (3회) | 도구 없음 (대조군 3회) |
|---|---|---|---|
| 공법 (40문항) | GPT-5.6 Sol | 40/40 × 3 | 평균 33/40 |
| 민사법 (70문항) | Claude Opus 5 | 70/70 × 3 | 65/70 × 3 |
| 형사법 (40문항) | Claude Opus 5 | 40/40 × 3 | 37/40, 35/40, 36/40 |
하희봉 대표이사(변호사)는 "AI 단독의 성능이 아니라, 법령·판례·교재를 실제로 찾아 확인하는 리서치 절차를 붙였을 때 무엇이 달라지는지를 측정한 실험"이라며 "도구 없는 조건에서 반복적으로 틀린 문항이 도구를 붙이자 전부 교정됐다는 점은, 변호사 업무에서 AI를 쓸 때 검증 가능한 리서치 인프라가 왜 필수인지 보여준다"고 말했다.
이어 "결과를 믿어 달라고 말하는 대신 제3자가 재검증할 수 있도록 설계 단계부터 사전등록과 봉인을 적용했고 전 과정을 공개했다"며 "법률 AI의 성능 주장에는 이 정도의 검증 절차가 기본이 되어야 한다"고 덧붙였다.
유의사항
이번 결과는 5지선다 선택형에 한정되며 사례형·기록형 답안 작성 능력을 의미하지 않는다. 실제 시험의 시간 제한 조건과도 다르다. 모델 학습 시점상 시험 문항 노출 가능성을 완전히 배제할 수 없어 자유 재생 암기 검증*으로 보완했다(재생 0건). 상세한 한계는 각 공개 저장소에 명시되어 있다.
- 자유 재생(free recall) 암기 검증이란? AI 모델은 방대한 공개 문서로 학습되기 때문에, 이미 공개된 시험 문항이나 정답이 학습 데이터에 섞여 있었을 가능성을 배제할 수 없다. 이를 확인하기 위해 모델에 문항을 전혀 보여주지 않은 상태에서 "제15회 변호사시험 ○○과목 ○번 문항의 지문과 정답을 기억만으로 복원하라"고 요구했다. 모델이 실제 문항의 지문이나 정답 번호를 일치하게 재현한다면 만점이 '암기'에서 나왔다는 뜻이 된다. 이번 검증에서 재현된 문항은 0건이었다. 만점은 외워 둔 답을 꺼낸 결과가 아니라, 리서치 도구로 법령·판례를 찾아 확인하며 푼 결과라는 의미다.
쥬리서포트 주식회사 소개
쥬리서포트 주식회사는 사건 관리부터 AI 문서 작성, 콘텐츠 마케팅까지 법률 업무를 지원하는 플랫폼 'JuriSupport'를 개발·운영하는 리걸테크 기업이다. 법률사무소를 대상으로 AI 도구 설치와 유지보수, 업무 자동화 컨설팅 서비스도 제공한다. 대표이사 하희봉은 로피드 법률사무소 대표변호사로, SKT 유심 정보유출 집단소송 등 실제 사건을 수행한 경험을 바탕으로 도구를 개발한다.