AI가 왜 그런 답을 내놓는지, 만든 사람도 내부를 전부 설명하지는 못합니다.

AI가 왜 그런 답을 내놓는지, 만든 사람도 내부를 전부 설명하지는 못합니다. 성능이 좋아져도 속에서 무슨 일이 벌어지는지 모르면 위험한 행동을 찾아 고치기 어렵죠.

이 글이 화제가 되는 이유는 그 내부를 분석하는 작업까지 AI가 해내기 시작했다는 주장 때문입니다.

글쓴이 Nick은 OpenAI 초기 관련 연구에 참여했지만, 당시에는 도구로 읽을 수 있는 부분이 뉴런의 약 2%에 불과해 회의적이었다고 합니다.

최근 AI 에이전트로 다시 분석해보니 수조 개 파라미터 규모의 모델에서도 상당 부분을 읽을 수 있었고, 위험한 뉴런으로 알려졌던 사례 중에도 오해가 있었다는 설명입니다.

이 주장이 맞다면 AI가 발전하는 속도만큼, 그 AI를 이해하고 통제하는 도구도 빠르게 발전할 수 있다는 얘기입니다. 사람이 하나씩 뜯어보던 연구를 AI가 대규모로 수행하게 되는 거죠.

아직 한 연구자의 주장이고 안전 문제가 해결됐다는 뜻은 아닙니다. 다만 AI를 이해하는 일까지 AI가 가속하기 시작했다는 점에서 반응이 나오는 겁니다.

https://already-clean.goodfire.com/