Apache Spark 리소스 최적화: 하루 800만 건의 작업 실행에서 얻은 교훈
- 하루 약 800만 건의 Spark 실행을 처리하는 Salesforce Data 360이 할당한 자원과 실제 작업량을 비교해 낭비를 줄인 사례. 작업이 성공했다는 사실만으로 적정한 자원을 사용했다고 판단할 수는 없음
- 공통 작업 제출 경로에 계측 플러그인을 주입해 애플리케이션 코드 수정 없이 실행 데이터를 수집. Kafka와 Iceberg에 모은 데이터를 분석해 비용이 크고 반복적으로 자원을 낭비하는 워크로드부터 조사
- 태스크를 처리하지 않은 실행기와, 작업을 받았지만 CPU가 유휴 상태인 실행기를 구분. 메모리 사용량과 스필, 셔플 실패를 함께 살펴 자원 과다 할당인지 다른 병목인지 판단 …
https://news.hada.io/topic?id=35502
Apache Spark 리소스 최적화: 하루 800만 건의 작업 실행에서 얻은 교훈 - 하루 약 800만 건의 Spark 실행을 처리하는 Salesforce Data 360이 할당
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,425 subscribers
Open in Telegram