openTPU - AI가 설계하고 실제 FPGA에서 모델을 실행하는 오픈소스 AI 가속기
- AI가 개발한 오픈소스 AI 가속기로, 하드웨어 설계부터 명령어 집합, 시뮬레이터, 컴파일러와 호스트 소프트웨어까지 하나의 저장소에 공개함
- 기존 FPGA 카드에서 실제 가중치를 사용하는 모델 10종을 실행하며, 카드의 출력은 시뮬레이터와 토큰 단위로 일치함
- 호스트 처리 시간을 포함해 LFM2.5-230M은 초당 82.1토큰, Qwen3-0.6B는 초당 30.7토큰을 생성하며, 4비트 양자화로 메모리 전송량과 실행 시간을 줄임
- 카드의 4 GiB 메모리보다 큰 MoE 모델도 필요한 전문가 가중치를 호스트에서 가져와 실행하며, Qwen3.5-…
https://news.hada.io/topic?id=34903
openTPU - AI가 설계하고 실제 FPGA에서 모델을 실행하는 오픈소스 AI 가속기 - AI가 개발한 오픈소스 AI 가속기로, 하드웨어 설계부터 명령어 집합, 시뮬레이터, 컴
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,372 subscribers
Open in Telegram