StreamFusion - Flink SQL을 Rust 기반 네이티브 실행기로 가속하는 도구
- Apache Flink가 작성한 실행 계획의 쿼리를 Rust, Apache Arrow, DataFusion 기반 네이티브 실행기로 처리하는 가속기
- Flink는 SQL 계획과 작업 조정, checkpoint를 계속 담당하며, 애플리케이션 코드를 고치지 않고 기존 streaming SQL 작업에 적용 가능
- 계획 단계에서 가속 가능 여부를 판단하며, 질의 내부에 지원하지 않는 연산자가 하나라도 있으면 전체 질의를 기존 Flink 실행으로 처리
- 네이티브 구간은 row 단위 데이터 대신 Arrow batch를 교환해 연산자 사이의 행/열 변환과 JVM 처리 비용을 줄임
- 필터,…
https://news.hada.io/topic?id=36136
StreamFusion - Flink SQL을 Rust 기반 네이티브 실행기로 가속하는 도구 - Apache Flink가 작성한 실행 계획의 쿼리를 Rust, Apache Arro
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2 425 підписників
Відкрити в Telegram