Qwen으로 나만의 의사결정 모델 만들기 - LLM의 출력을 고정된 선택지 토큰으로 제한하면 한 번의 순전파로 답을 선택하는 의사결정 모델 구현 가능 - 선택지 밖의 응답을 막아도

Qwen으로 나만의 의사결정 모델 만들기

- LLM의 출력을 고정된 선택지 토큰으로 제한하면 한 번의 순전파로 답을 선택하는 의사결정 모델 구현 가능
- 선택지 밖의 응답을 막아도 정답이 보장되지는 않으며, 토큰 확률과 실제 정답 확률은 다를 수 있음
- Qwen/Qwen3-1.7B로 구현한 모델은 CommonsenseQA 홀드아웃 평가에서 정확도 59.38%를 기록했고, 간단한 미세 조정 후 62.41%로 높아짐
- 모델은 모호한 질문에도 높은 확률을 부여했으며, 평가에서 평균 신뢰도 98.55% 인 구간의 실제 정확도는 70.09%에 그침
- 온도 스케일링으로 확률 분포를 완만하게 조정해…

https://news.hada.io/topic?id=35145