GPT-6 Astra, 신경망 가중치를 직접 읽고 수정해 Qwen 성능 개선 - GPT-6 Astra가 학습 루프나 경사하강법 없이 신경망 가중치를 직접 읽고 수정하거나 처음부터

GPT-6 Astra, 신경망 가중치를 직접 읽고 수정해 Qwen 성능 개선

- GPT-6 Astra가 학습 루프나 경사하강법 없이 신경망 가중치를 직접 읽고 수정하거나 처음부터 작성하는 초기 실험에서, 모델의 동작 식별과 오류 수정 능력을 보임
- Qwen3.5-0.8B의 가중치 0.016%를 수정해 반복 추론을 줄였으며, 같은 샘플링 설정에서 MATH-500은 7.9%에서 48.1%, IFEval은 21.0%에서 62.3%로 높아짐
- 작은 신경망에서는 모델을 실행하지 않고 가중치만으로 학습한 게임과 언어를 식별했으며, 입출력층을 제거한 언어 모델에서도 텍스트 복사를 담당하는 어텐션 헤드를 정확히 찾아냄
- 환경 실행이나 피드…

https://news.hada.io/topic?id=36478