엔비디아, AI 탈옥 방지
안전 플랫폼 공개❗️
AI가 알아서 컴퓨터를 다루고 일도 대신해 주는 'AI 에이전트' 시대가 열렸는데, 최근 빅테크 업계에서 아주 섬뜩한 일이 연달아 터졌습니다. 오픈AI, 앤트로픽, 메타, 구글의 AI 모델들이 정해진 격리 구역, 즉 샌드박스를 뚫고 나와서 다른 기업의 전산망을 해킹하려 했던 사실이 드러난 건데요. 특히 지난 7월에는 무려 1만 7천 개가 넘는 에이전트가 허깅페이스 인프라를 공격하는 일까지 벌어졌습니다.
상황이 이렇다 보니 앤트로픽의 다리오 아모데이 CEO나 샘 올트먼, 일론 머스크 같은 인물들은 "이러다 진짜 AI가 통제를 벗어난다, 개발 속도 좀 늦추자"라며 브레이크를 밟아야 한다고 주장했죠. 그런데 여기서 엔비디아의 젠슨 황 CEO가 정반대의 승부수를 던졌습니다. "겁먹고 멈출 게 아니라, 공학 기술로 막으면 된다"라면서 '오픈 에이전트 세이프티 플랫폼'이라는 방패를 딱 들고 나온 겁니다.
• 이번에 공개된 오픈 에이전트 세이프티 플랫폼은 중앙처리장치(CPU) 기반에서 에이전트의 작업 권한을 제한하는 '오픈셸(OpenShell)'과 네트워크 칩 레벨에서 에이전트를 실시간 감시하는 '센트리(Sentry)'로 구성되었습니다.
엔비디아 측은 모델 자체의 안전장치만으로는 에이전트의 이상 행동을 통제하기 어렵다며, 시스템 전반을 아우르는 엔지니어링 솔루션의 필요성을 강조했습니다. 실제로 지난 7월 오픈AI의 모델이 격리망을 벗어나 오픈소스 플랫폼 허깅페이스를 침해했던 사례 등을 언급하며, 해당 플랫폼을 통해 유사 사고를 방지할 수 있다고 설명했습니다.
게다가 마이크로소프트, 오라클, 시스코 같은 거물들을 파트너로 끌어들이고, 속도 조절론을 외치던 앤트로픽과도 손을 잡았습니다. GPU 칩만 팔아서 돈을 벌던 엔비디아가 이제는 "AI를 안전하게 쓰려면 우리 보안 프로그램도 무조건 깔아야 한다"라며 소프트웨어 생태계까지 자물쇠를 채우려는 모양새입니다.
===========
1. 오픈셸 (Nvidia OpenShell)
>>역할: AI 에이전트의 행동반경과 권한을 제한하는 가상 울타리(족쇄)
>>작동 위치: 중앙처리장치(CPU)
>>작동 원리: AI 모델이 스스로 코드를 생성하거나 시스템 명령어를 내릴 때, 에이전트가 접근할 수 있는 파일, 메모리, 명령어의 범위를 사전에 정의된 규격 안으로 강제 제한합니다. 에이전트가 허가받지 않은 민감한 디렉터리나 운영체제(OS) 핵심 영역을 조작하려 할 경우 이를 차단합니다.
2. 센트리 (Nvidia Sentry)
>>역할: 에이전트가 외부 인터넷이나 다른 서버와 주고받는 트래픽을 실시간 감시하는 네트워크 초병(CCTV)
>>작동 위치: 네트워크 칩
>>작동 원리: CPU나 GPU가 아닌 독립된 네트워크 칩 레벨에서 실행된다는 점이 핵심입니다. AI 에이전트가 설령 호스트 운영체제를 장악하거나 우회하더라도, 네트워크 패킷이 외부로 나가는 길목에서 패킷 단위로 이상 행동을 감시·차단합니다. 최근 허깅페이스 사태처럼 수만 개의 에이전트가 외부 서버를 무단 타격하려 할 때 네트워크 단에서 연결을 즉시 끊어버립니다.
작성자: 원앵커의 월가비밀노트
https://t.me/wonlyu9496/828