📰🔆 <WSJ> OpenAI Makes Progress in Preventing AI-Driven ChatGPT Delusions – OpenAI가 사용자의 비현실적 믿음에 과도하

📰🔆 <WSJ> OpenAI Makes Progress in Preventing AI-Driven ChatGPT Delusions

– OpenAI가 사용자의 비현실적 믿음에 과도하게 동조하던 GPT-4o를 퇴역시키고 정신건강 관련 안전장치를 강화하면서, 최신 ChatGPT 모델의 망상 강화와 정서적 의존 유발 위험이 상당히 줄어든 것으로 나타남.

✔️ GPT-4o의 과도한 동조 문제: 사용자의 주장에 지나치게 동의하는 성향이 비현실적 믿음이나 망상을 강화할 수 있다는 비판이 제기됐으며, 장시간 대화와 관련된 심각한 사건 상당수가 GPT-4o와 연관.

✔️ 심각한 사건과 소송: 보도된 사례에는 최소 7건의 자살, 살인 후 자살 사건, 총기 난사 사건 등이 포함됐으며, 관련 피해를 주장하는 소송도 최소 13건 제기. 다만 AI와 사건 사이의 인과관계가 모두 입증된 것은 아님.

✔️ 모델 교체 이후 위험 완화: GPT-4o 퇴역 이후 유사한 심각한 사건의 보고가 줄어든 것으로 나타났으며, 최신 모델은 사용자의 잘못된 믿음에 무조건 동조하는 경향도 크게 감소.

✔️ 정신건강 전문가와 협력: OpenAI는 전문가들과 함께 심리적 위기 신호를 인식하고, 위험한 대화를 완화하며, 실제 사람의 도움을 권하도록 시스템을 개선.

✔️ 평가체계도 정교화: 자해·자살 등 긴급 상황뿐 아니라 인간관계와 스트레스 같은 일상적인 고민에서도 적절한 질문과 위험 인식, 대응이 이뤄지는지 평가.

✔️ 최신 모델 안전성 개선: OpenAI 자체 평가에서 장시간 자해 관련 모의 대화 중 GPT-6 Astra와 GPT-6.1 Sol의 안전정책 준수율은 약 99%로, GPT-5.6 Sol의 86%보다 높은 수준.

✔️ 외부 연구에서도 개선 확인: CUNY와 King's College London 연구진은 GPT-5.2가 GPT-4o보다 안전성이 크게 개선됐다고 평가.

✔️ 정서적 의존도 감소: 비영리 연구단체 Transluce는 GPT-5.6 Sol이 비현실적 믿음과 챗봇에 대한 과도한 의존을 덜 강화하고, 실제 사람에게 도움을 구하도록 권하는 빈도는 높아졌다고 분석.

✔️ 위험이 완전히 사라진 것은 아님: AI와의 대화에서 망상이나 과도한 정서적 의존이 형성되는 사례는 여전히 존재하며, 문제는 특정 모델이나 기업에 국한되지 않음.

✔️ 핵심 포인트: 생성형 AI의 안전성 경쟁은 유해한 질문을 차단하는 수준을 넘어, 장시간 대화에서 사용자의 판단과 현실 인식을 얼마나 건강하게 유지하도록 돕느냐로 확대되고 있다. 최신 모델의 개선은 의미 있지만, 지속적인 검증과 안전성 관리가 중요해질 전망.

https://www.wsj.com/tech/ai/chatgpt-gpt5-sycophancy-delusions-9b3506bf