ggml v1.0.0 - 폐기 예정 API 제거, FP8 지원과 백엔드 성능 개선
- llama.cpp의 텐서 연산 라이브러리 ggml이 1.0.0을 출시함. 폐기 예정이던 공개 API와 `DIAG_MASK` 연산을 제거하고, YaRN 설정과 FP8 지원을 확장
- RPC 프로토콜이 v9로 올라가 이전 버전과의 연결을 거부하므로, RPC를 쓰는 환경에서는 클라이언트와 서버를 함께 업데이트해야 함
- CUDA에 OCP FP8 지원과 배치 크기 2~24에 맞춘 양자화 행렬 곱셈을 추가하고, Metal에서는 MoE 라우팅 연산을 하나로 합침
- FlashAttention과 MoE 실행 경로를 여러 백엔드에서 확장해, Intel용 프리필 커널과 장치 측 MoE 스케줄러, Adren…
https://news.hada.io/topic?id=37153
ggml v1.
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2 468 підписників
Відкрити в Telegram