🌸 ホーム (Home) 👤 経歴・プロフィール (About) 🌸 日本観光・旅行ブログ (55記事完全収録) 🗼 日本の観光スポット一覧 (55名所) 🍣 日本の絶品グルメ一覧 (45料理) 🏢 日本の注目企業・メガベンチャー 🗾 全47都道府県ガイド & IT支援 💻 技術スタック (Skills) 🚀 開発実績 (Projects) 📖 技術ブログ (30記事) 📋 全200ページ一覧サイトマップ 💌 無料相談・お見積り
ホーム > 技術コラム一覧 > Apache Flink による超低遅延リアルタイムストリーム処理とCEP(複合イベント処理)
📖 ビッグデータ & ストリーミング ⏱️ 10分で読める

Apache Flink による超低遅延リアルタイムストリーム処理とCEP(複合イベント処理)

著者: マニッシュ・クマール (Manish Kumar) | Java Full Stack & Cloud Architect

#Apache Flink#Stream Processing#Kafka#CEP#Big Data

1. マイクロバッチ(Spark)と真のストリーミング(Flink)の差

Spark Streamingは短い時間間隔でバッチ処理を繰り返す「マイクロバッチ」方式ですが、Apache Flinkはデータが届いた瞬間にイベント単位で即座に処理を行う「ネイティブストリーミング」エンジンです。レイテンシはミリ秒単位に到達します。

2. Exact-Once(正確に1回)の保証とCheck pointing

Chandy-Lamportアルゴリズムをベースにした非同期バリアスナップショットにより、分散環境でノード障害が発生しても、データの重複や欠落なく状態(State)を復元します。

Manish Kumar

マニッシュ・クマール (Manish Kumar)

エンタープライズJava(Spring Boot)およびAWSクラウドインフラのスペシャリスト。日本企業向けのシステム開発支援、高可用性マイクロサービス設計を多数手掛ける。

お問合せ 💌
こんにちは🌸 気になる観光地やグルメ、IT開発について何でも見てね✨
🏠 ホーム 🗼 観光名所 🍣 グルメ 🏢 注目企業 💌 無料相談