ADS-B 航空機データを Kafka に流し、Apache Flink SQL でストリーム集計・異常検知を行い、WebSocket でブラウザへ配信する「FlightRadar24 風」ダッシュボードの全体像をまとめた資料です。
※ 本資料は IBM Bob で作成した技術デモの解説であり、IBM / Confluent の公式製品ドキュメントではありません。
データは左から右へ一方向に流れます。Kafka をハブとして「取り込み(Producer)」「ストリーム処理(Flink)」「配信(Python サーバー)」が疎結合につながっているのが特徴です。
flight_positions を直接購読、集計・異常検知は Flink 派生トピック経由。用途で使い分けています。レイヤーごとに使っている技術と、その役割です。
/v2/point/{lat}/{lon}/{radius}kafka / upsert-kafka)+ flink-json フォーマットWebSocket API(フレームワーク不使用)データ取得プログラムが外部 API から機体情報を取得し、Kafka の flight_positions に書き込みます。
{
"icao24": "86d0a1", // 機体の一意 ID (キー)
"callsign": "ANA762", // 航空会社コード + 便名
"registration": "JA986A", // 機体登録番号 (日本機は JA...)
"aircraft_type": "B788",
"latitude": 35.55, "longitude": 139.78,
"baro_altitude": 10668.0, // m
"velocity": 245.3, // m/s
"vertical_rate": 0.0, // m/s
"on_ground": false,
"squawk": "1200", "emergency": "none",
"origin_iata": "HND", "destination_iata": "CTS",
"ts": 1732000000000
}
registration LIKE 'JA%'。callsign は航空会社コード+便名(例 ANA762)で JA で始まらないため、使うと日本の旅客便の約 7 割を取りこぼします。セットアップ用スクリプトが Flink の管理 API に対して Flink SQL を投入します。ソーステーブルを 1 つ定義し、5 本の INSERT INTO が常時稼働のストリームジョブになります。
| ジョブ名 | 出力トピック | 処理内容 | 種別 |
|---|---|---|---|
flink-insert-japan | flink_flight_japan | registration LIKE 'JA%' かつ座標あり → 日本登録機のみ抽出 | フィルタ |
flink-insert-airline | flink_airline_stats | コールサイン先頭 3 文字(航空会社)ごとに 機数・平均/最大高度・平均速度 | 60秒 窓集計 |
flink-insert-altitude | flink_altitude_stats | 高度帯 low(<3,000m) / mid(<8,000m) / high ごとの機数 | 60秒 窓集計 |
flink-insert-phase | flink_phase_stats | 昇降率 >+2 climbing / <−2 descending / それ以外 cruise ごとの機数・平均高度 | 60秒 窓集計 |
flink-insert-anomaly | flight_anomaly | squawk 7700/7600/7500/7777、|昇降率|>20m/s、高度>15,000m、速度>330 または低速高高度 を検出し anomaly_type を付与 | 異常検知 |
FROM TABLE(TUMBLE(TABLE flight_positions, DESCRIPTOR(proc_time), INTERVAL '60' SECOND)) GROUP BY SUBSTRING(callsign,1,3), window_start, window_end
flight_positions:Kafka コネクタ、format=json、scan.startup.mode=latest-offset、proc_time AS PROCTIME() の計算列でウィンドウ時刻を供給upsert-kafka(主キー=グループキー+ window_start/end)、フィルタ/異常系は通常の kafka コネクタCOMPLETED、INSERT は RUNNING になるまで REST でポーリングして確認anomaly_type に
INSERT INTO flight_anomaly SELECT icao24, callsign, ..., CASE WHEN squawk IN ('7700','7600','7500','7777') THEN 'squawk_alert' WHEN ABS(vertical_rate) > 20 THEN 'extreme_vrate' WHEN baro_altitude > 15000 THEN 'altitude_ceiling' WHEN baro_altitude < 100 AND vertical_rate < -5 THEN 'altitude_floor' WHEN velocity > 330 THEN 'overspeed' WHEN velocity < 50 AND baro_altitude > 3000 THEN 'underspeed' END AS anomaly_type FROM flight_positions WHERE on_ground = FALSE AND (...同条件...)
Flink は「1 回の瞬間値で怪しいもの」を出すステートレスな判定まで。「急降下が連続 2 回以上続いたら本物のアラート」のような時間をまたぐ判定(extreme_vrate)は、次章の Python サーバー側で行います。
配信サーバーは「Kafka を読む複数スレッド」と「WebSocket を配る asyncio ループ」を、ロック付きの共有メモリで橋渡しする構造です。
| type | タイミング | 内容 |
|---|---|---|
snapshot_chunk / end | 接続直後・30秒毎 | 全機体(1,000 機単位に分割) |
batch_updates | 1 秒毎 | 更新された機体のみ |
japan_update | 2 秒毎 | 日本登録機 (Flink) |
airline_stats | 集計到着時 | 航空会社別 (Flink) |
phase_stats / altitude_band_stats | 集計到着時 | フェーズ・高度帯 (Flink) |
anomaly_alert | 検知時 | 異常・異常接近アラート |
kafka_rate / timeseries_update | 定期 | 受信レート・時系列点 |
|vrate| > 20 m/s が 2 回以上連続で「注意」、> 30 m/s(約 6,000 ft/min)で「緊急降下疑い」。途切れが 30 秒超でカウントをリセット。4 画面は共通ナビで行き来でき、いずれも同じ WebSocket エンドポイントに接続して必要なメッセージだけを描画します。
anomaly_alert を一覧表示。重大度別の色分け、接続時は履歴を復元。
Flink の異常判定+サーバーの連続判定・接近検知の結果。デモが止まらないよう、段階的に代替動作へ切り替わる作りになっています。
latest_flights から航空会社・フェーズ・高度帯を直接集計して同じ形式で配信。地図は flight_positions のみで動作。list_topics で存在確認し、無ければ 30 秒待って再試行。Consumer がクラッシュしても自動再接続。ストリーム基盤(Kafka / Flink)とダッシュボードサーバーは別の環境に分離し、利用者は制限されたアクセス経路から接続します。
flight_positions への書き込み開始(API 不要ならデモデータ投入ツールで代替)