**Google, PyTorch 모델을 TPU에서 실행하는 TorchTPU 오픈소스 공개**

- Google이 Meta의 PyTorch 팀과 협력해 개발한 TPU용 PyTorch 백엔드 TorchTPU를 공개. 기존 PyTorch 모델의 코드 변경을 최소화하면서 Google Cloud TPU에서 학습과 추론을 실행  
- GPU에서 쓰던 PyTorch의 실행 방식을 유지하며, 연산을 하나씩 실행하는 즉시 실행 모드 지원. 기본적인 이전은 장치를 `cuda`에서 `tpu`로 바꾸는 것부터 시작  
- `torch.compile()`로 연산을 묶어 최적화하고, 컴파일 결과를 캐시해 반복 작업의 비용을 줄임. 여러 연산을 지연시켰다가 합쳐 실행하는 모드도 제공  
- 데이터 병렬화와 텐서 병렬…

[https://news.hada.io/topic?id=35728](https://news.hada.io/topic?id=35728)