Parquet가 현대 데이터 엔지니어링을 지배하는 이유 [영상]
- Parquet는 같은 열의 값을 모아 저장해, 대규모 데이터에서 필요한 열만 빠르게 읽는 파일 형식. CSV처럼 모든 줄을 훑고 텍스트를 숫자로 변환하는 작업을 줄여 분석과 모델 학습에 유리
- 택시 운행 약 1,000만 건에서 평균 요금을 구하는 실험에서 CSV보다 파일 크기가 6분의 1이었고, 읽기 속도는 27배 빨랐음
- 반복되는 값은 사전과 반복 횟수, 적은 비트로 표현하고 그 결과를 다시 압축. 같은 데이터라도 압축 방식과 행 정렬 순서에 따라 파일 크기와 읽기 속도가 달라짐
- 행 그룹별 최솟값과 최댓값으로 조건에 맞…
https://news.hada.io/topic?id=35843
Parquet가 현대 데이터 엔지니어링을 지배하는 이유 [영상] - Parquet는 같은 열의 값을 모아 저장해, 대규모 데이터에서 필요한 열만 빠르게 읽는 파일 형식.
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2 425 підписників
Відкрити в Telegram