LLM은 신경망 가중치를 읽고 쓰는 데 초인적이지 않다
- GPT-6 Astra의 신경망 가중치 분석과 수정은 인상적이지만, 유능한 인간 ML 연구자도 수행할 수 있는 작업임
- 작은 게임 신경망은 입력 채널에 격자 위치와 의미가 드러나 있어, 첫 번째 층 가중치의 크기를 분석하면 어떤 게임을 학습했는지 알아낼 단서를 얻을 수 있음
- 0.8B Qwen의 수학 성능 향상은 새로운 수학 능력을 심기보다, 32k 토큰 이후 반복에 빠지는 특정 문제를 고쳐 더 오래 문제를 풀 수 있게 한 결과임
- Astra는 반복하는 추론과 그렇지 않은 추론을 비교하고 관련 가중치를 줄이는 스티어링 계열 접근법을 사용했…
https://news.hada.io/topic?id=36609
LLM은 신경망 가중치를 읽고 쓰는 데 초인적이지 않다 - GPT-6 Astra의 신경망 가중치 분석과 수정은 인상적이지만, 유능한 인간 ML 연구자도 수행할 수 있는 작업임 -
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,458 مشتركًا
فتح في تيليجرام