약 2만 달러로 학습한 이미지 생성 모델 P-JiT, 코드와 가중치 공개 - Linum이 GPU 비용 21,038달러로 학습한 이미지 생성 모델 P-JiT를 실험적으로 공개함.

약 2만 달러로 학습한 이미지 생성 모델 P-JiT, 코드와 가중치 공개

- Linum이 GPU 비용 21,038달러로 학습한 이미지 생성 모델 P-JiT를 실험적으로 공개함. 더 저렴한 영상 생성 모델을 만들기 위한 개념 검증임
- 코드와 가중치를 Apache 2.0으로 공개함. 이미지 생성부는 약 22억 파라미터이며, 별도로 사전학습된 40억 파라미터 텍스트 인코더를 사용함
- 이미지를 압축하는 별도 VAE 없이 압축과 생성을 함께 학습함. 기존 Linum v2보다 이미지 토큰 수를 4분의 1로 줄여 연산 부담을 낮춤
- 초기 실험에서는 기존 모델보다 11배 적은 샘플로 수렴했으며, 이번에는 누적 약 6억 6,000만 샘플…

https://news.hada.io/topic?id=36694