1. マイクロバッチ(Spark)と真のストリーミング(Flink)の差
Spark Streamingは短い時間間隔でバッチ処理を繰り返す「マイクロバッチ」方式ですが、Apache Flinkはデータが届いた瞬間にイベント単位で即座に処理を行う「ネイティブストリーミング」エンジンです。レイテンシはミリ秒単位に到達します。
2. Exact-Once(正確に1回)の保証とCheck pointing
Chandy-Lamportアルゴリズムをベースにした非同期バリアスナップショットにより、分散環境でノード障害が発生しても、データの重複や欠落なく状態(State)を復元します。