GPU-unlock - RTX 30 시리즈의 AI 연산 성능 제한을 해제하는 Linux 모듈
- RTX 30 시리즈에 걸린 FP16/BF16 연산의 명령 발행 속도 제한을 해제해, 전문가용 제품 수준의 처리 속도를 활용하는 Linux 커널 모듈
- NVIDIA 드라이버가 GPU를 초기화하기 전에 적용하므로 드라이버 자체를 수정하거나 업데이트 때마다 수동 패치할 필요가 없음
- RTX 3090 Ti의 450W, FP32 누산 행렬곱 테스트에서 BF16 처리량이 87.50에서 157.41 TFLOPS로 약 80% 증가
- 사용자 보고에서 LLM의 입력 프롬프트 처리인 프리필이 14~36% 빨라졌으며, 확산 모델과 FlashAttention 등 행렬 연산 비중이 큰 작업에도 효과
…
https://news.hada.io/topic?id=35938
GPU-unlock - RTX 30 시리즈의 AI 연산 성능 제한을 해제하는 Linux 모듈 - RTX 30 시리즈에 걸린 FP16/BF16 연산의 명령 발행 속도 제한을 해제해,
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,425 subscribers
Open in Telegram