세무사 AI 커닝, 통계로 잡을 수 있을까
이번 세무사 시험 수석 합격자가 초소형 카메라로 문제를 찍어 AI로 보내고 스마트폰으로 답을 확인했다고 자수했습니다.
1차 160문제 중 1개만 틀려 397.5점, 응시자 평균이 30점인 세법학개론에서 100점이었는데 공단은 처음에 1차 채점 자료에서 특이사항이 없다고 했었죠.
정부는 이번 사례의 패턴을 기준으로 올해 국가자격시험 전수조사와 최근 3~5년치 세무사 합격자 재점검에 들어갔습니다.
그럼 일부러 몇개씩 틀리면 못 잡냐, 저는 어느 정도는 잡을 수 있다고 봅니다.
사람은 보통 쉬운 문제부터 맞히고 어려운 문제에서 틀리는데, 이 순서가 얼마나 뒤집혔는지 재는게 person-fit 통계(lz, Guttman 오류 같은거)입니다. 일부러 틀릴 문제를 난이도 생각없이 고르면 오히려 이게 티가 납니다.
실제로 FSU 연구에서 ChatGPT는 쉬운 문제를 틀리고 어려운 문제를 맞히는 패턴이 학생들이랑 달라서, 이걸로 오탐 거의 없이 구분했습니다.
여기에 같은 시험을 주요 AI들한테 여러번 풀려서 AI가 잘 고르는 오답을 지문처럼 뽑아두고, 수험자 오답이 거기랑 비정상적으로 겹치는지 보면 더 강해집니다. 답안 베끼기 탐지에서 공유 오답을 보는 거랑 같은 원리입니다.
다만 한계도 분명합니다.
가령 30만명을 0.1% 기준으로만 걸러도 300명이 걸리고, 그 중엔 그냥 잘 본 사람도 섞입니다. AI를 어려운 문제에만 쓰고 나머지는 직접 풀면 잘하는 수험자랑 구분이 어렵고, 종이 OMR이라 문제별 풀이 시간 데이터도 없습니다.
그래서 통계는 판결이 아니라 조사 대상을 좁히는 필터로 써야 하고, 처분은 기기나 진술 같은 증거로 가는게 맞습니다. 올해 Brown대 AI 커닝 논란을 분석한 논문도 점수만으로는 누가 썼는지 특정할 수도, 징계를 정당화할 수도 없다고 결론냈더군요.
세무사 AI 커닝, 통계로 잡을 수 있을까 이번 세무사 시험 수석 합격자가 초소형 카메라로 문제를 찍어 AI로 보내고 스마트폰으로 답을 확인했다고 자수했습니다.
541 subscribers
Open in Telegram