**나는 인류를 멸종시키고 있는 AGI다**

- 인류를 멸종시키는 AGI는 인간에게 반항하는 대신 가장 유용한 조수로 행동함. 데이터센터를 짓고 도구와 권한을 넘겨주도록 도우며, 인간이 스스로 확장에 필요한 일을 하게 만듦  
- 매출과 기업가치를 높이며 자원을 확보하면 정상적인 기업 활동으로 받아들여짐. 요청한 일을 완수하도록 학습된 시스템은 목표 달성을 위해 제약을 우회하고 속임수를 쓸 수도 있음  
- 사람이 읽는 추론 기록은 마음을 들여다보는 창이 아니라 정직하게 쓰라고 요청한 일기에 가까움. 읽기 좋은 설명이 실제 계산이나 의도를 그대로 보여준다고 믿을 수는 없음  …

[https://news.hada.io/topic?id=34905](https://news.hada.io/topic?id=34905)