Google, PyTorch 모델을 TPU에서 실행하는 TorchTPU 오픈소스 공개
- Google이 Meta의 PyTorch 팀과 협력해 개발한 TPU용 PyTorch 백엔드 TorchTPU를 공개. 기존 PyTorch 모델의 코드 변경을 최소화하면서 Google Cloud TPU에서 학습과 추론을 실행
- GPU에서 쓰던 PyTorch의 실행 방식을 유지하며, 연산을 하나씩 실행하는 즉시 실행 모드 지원. 기본적인 이전은 장치를 `cuda`에서 `tpu`로 바꾸는 것부터 시작
- `torch.compile()`로 연산을 묶어 최적화하고, 컴파일 결과를 캐시해 반복 작업의 비용을 줄임. 여러 연산을 지연시켰다가 합쳐 실행하는 모드도 제공
- 데이터 병렬화와 텐서 병렬…
https://news.hada.io/topic?id=35728
Google, PyTorch 모델을 TPU에서 실행하는 TorchTPU 오픈소스 공개 - Google이 Meta의 PyTorch 팀과 협력해 개발한 TPU용 PyTorch 백엔드
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,425 subscribers
Open in Telegram