חברו את OpenTG ל-ChatGPT או ל-Claude תוך 60 שניות

נסו אותו

DeepX, 2세대 AI 칩 DX-M2 테이프아웃 완료 - 5W 미만에서 최대 1,000억 파라미터 모델 추론 목표 - 한국 엣지 AI 반도체 스타트업 딥엑스가 2세대 가속기 DX

GeekNews

GeekNews

@GeekNewsHada

GeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly

2,468 מנויים
פתח בטלגרם
DeepX, 2세대 AI 칩 DX-M2 테이프아웃 완료 - 5W 미만에서 최대 1,000억 파라미터 모델 추론 목표

- 한국 엣지 AI 반도체 스타트업 딥엑스가 2세대 가속기 DX-M2의 테이프아웃을 완료함. 로봇과 드론처럼 전력과 발열 제약이 큰 기기에서 생성형 AI를 직접 실행하도록 설계함
- 5W 미만에서 전체 200억~1,000억 파라미터 규모의 모델을 초당 10~30토큰으로 실행하는 것이 목표. 활성 파라미터는 약 30억~200억 개이며, 메모리 대역폭은 전작의 3배인 150GB/s로 높임
- Samsung의 LPDDR5x-PIM으로 GEMV 연산을 넘기면 Llama3.1-8B 처리량이 DX-M2 단독 대비 6.7배가 될 것으로 시뮬레이션에서 예측함. 다만 전체 소비전력도 2.7배로 늘어나며, 동일 전력에서는 약 2배의 성능 향상을 예상함 …

https://news.hada.io/topic?id=36920
פתח את הפוסט בטלגרם