リアルタイム フライトトラッキング — 技術解説

ADS-B 航空機データを Kafka に流し、Apache Flink SQL でストリーム集計・異常検知を行い、WebSocket でブラウザへ配信する「FlightRadar24 風」ダッシュボードの全体像をまとめた資料です。

※ 本資料は IBM Bob で作成した技術デモの解説であり、IBM / Confluent の公式製品ドキュメントではありません。

ADSB.lol APIConfluent Platform (Kafka) Apache Flink SQL (CMF)Python / asyncio WebSocketLeaflet.jsChart.jsリバースプロキシ

1全体アーキテクチャ

データは左から右へ一方向に流れます。Kafka をハブとして「取り込み(Producer)」「ストリーム処理(Flink)」「配信(Python サーバー)」が疎結合につながっているのが特徴です。

ADSB.lol API ADS-B 機体位置 (JSON) 無料・認証不要 adsbdb.com 経路 (出発/到着空港) 1時間キャッシュ Producer データ取得プログラム ・5エリア分割取得 ・単位変換 ft→m, kt→m/s ・1機 = 1メッセージ ・key = ICAO24 Apache Kafka Confluent Platform flight_positions 複数パーティション・多重化 認証 + TLS 暗号化 Apache Flink SQL (CMF) flink-insert-japan 日本登録機フィルタ registration LIKE 'JA%' flink-insert-airline 航空会社別 集計 TUMBLE 60秒 / callsign 先頭3文字 flink-insert-altitude 高度帯別 集計 low / mid / high · TUMBLE 60秒 flink-insert-phase 飛行フェーズ別 集計 climbing / cruise / descending flink-insert-anomaly 異常検知 (ステートレス) squawk / 昇降率 / 高度 / 速度 consume Kafka 派生トピック flink_flight_japan flink_airline_stats flink_altitude_stats flink_phase_stats flight_anomaly 通常 Kafka sink upsert-kafka (key=JSON) upsert-kafka (key=JSON) upsert-kafka (key=JSON) 通常 Kafka sink Python サーバー 配信サーバープログラム Kafka Consumer スレッド 位置データ購読 Flink 派生トピック購読 異常接近 検知 (5秒周期) latest_flights (メモリ) dict + threading.Lock asyncio 定期タスク batch 1秒 / japan 2秒 snapshot 30秒 (チャンク) kafka_rate / 集計フォールバック WebSocket 配信 HTTP 静的ファイル配信 flight_positions を直接購読(地図用の最新位置・緊急機検出) produce ブラウザ HTML + JavaScript 🗺 地図 Leaflet.js 📊 統計 / 分析 Chart.js ⚠ 異常検知 アラート一覧 🌐 アクセス 閲覧者の IP / 地域 全画面が同じ WebSocket メッセージを購読 proxy 中継 WS ① データソース ② 取り込み ③ ストリーム基盤 ④ ストリーム処理 ⑤ 処理結果 ⑥ 配信 ⑦ 表示
ポイント ①:Kafka がハブ
Producer・Flink・サーバーは互いを直接知らず、トピック経由でのみ連携。どれかを止めても他は影響を受けにくい構成です。
ポイント ②:2 本の経路
地図の最新位置は flight_positions を直接購読、集計・異常検知は Flink 派生トピック経由。用途で使い分けています。
ポイント ③:Push 型配信
ブラウザはポーリングせず、サーバーが WebSocket で差分をプッシュ。1 回の接続で全画面の更新を受け取ります。

2技術スタック

レイヤーごとに使っている技術と、その役割です。

データソース

外部 API
  • ADSB.lol — 航空機のトランスポンダ (ADS-B) 情報を JSON で提供。/v2/point/{lat}/{lon}/{radius}
  • adsbdb.com — コールサイン → 出発/到着空港の補完

取り込み(Producer)

Python 3
  • requests — HTTP 取得
  • confluent-kafka — librdkafka ベースの Kafka クライアント
  • 5 エリア分割・レート制限(500 req/日)を考慮した取得スケジューラ

メッセージ基盤

Confluent Platform
  • Apache Kafka — 複数ブローカーによる冗長構成、認証 + TLS 暗号化
  • JSON 形式(Schema Registry は未使用)
  • 入力トピックは複数パーティション・レプリカで可用性を確保

ストリーム処理

Confluent Manager for Apache Flink (CMF)
  • Flink SQL — 宣言的にフィルタ・集計・判定を記述
  • 管理 API — SQL を「Statement」として投入・管理
  • Kafka コネクタ(kafka / upsert-kafka)+ flink-json フォーマット
  • コンテナ基盤上で JobManager / TaskManager が稼働

配信サーバー

Python 3 / asyncio
  • websockets — WebSocket サーバー
  • threading — Kafka Consumer は別スレッドで常時ポーリング
  • http.server — 静的 HTML 配信+アクセスログを Kafka へ

フロントエンド

素の HTML / CSS / JavaScript
  • Leaflet.js — 地図・機体マーカー・軌跡
  • Chart.js 4.4 — 折れ線・棒・ドーナツ
  • ブラウザ標準 WebSocket API(フレームワーク不使用)

公開・運用

インフラ
  • リバースプロキシ — HTTPS 終端、WebSocket の中継
  • サービス管理 — 取得・配信プログラムを常駐化
  • アクセス制御 — 非公開環境への安全なアクセス

3データ取り込み(Producer)

データ取得プログラムが外部 API から機体情報を取得し、Kafka の flight_positions に書き込みます。

  1. エリア分割で取得
    ADSB.lol は半径 250nm 超を拒否するため、日本を 5 エリア(北海道/東北〜関東/近畿〜中国・四国/九州/沖縄)に分け、各 250nm で取得。
  2. レート制限を守るスケジューリング
    上限 500 req/日 に対し、5 エリア × 480 秒間隔 × JST 8〜20 時 = 450 req/日。
  3. 正規化・単位変換
    高度 ft→m、速度 kt→m/s。Consumer 側では再変換しない(単位変換は Producer のみ)。
  4. 経路情報の付与
    コールサインから出発/到着空港を取得(1 時間キャッシュで外部呼び出しを節約)。
  5. 1 機 = 1 メッセージで produce
    キーは ICAO24。同じ機体は同じパーティションに入り、順序が保たれる。
flight_positions のメッセージ例(主要項目)
{
  "icao24": "86d0a1",         // 機体の一意 ID (キー)
  "callsign": "ANA762",        // 航空会社コード + 便名
  "registration": "JA986A",    // 機体登録番号 (日本機は JA...)
  "aircraft_type": "B788",
  "latitude": 35.55, "longitude": 139.78,
  "baro_altitude": 10668.0,     // m
  "velocity": 245.3,            // m/s
  "vertical_rate": 0.0,         // m/s
  "on_ground": false,
  "squawk": "1200", "emergency": "none",
  "origin_iata": "HND", "destination_iata": "CTS",
  "ts": 1732000000000
}
日本機判定は registration LIKE 'JA%'。callsign は航空会社コード+便名(例 ANA762)で JA で始まらないため、使うと日本の旅客便の約 7 割を取りこぼします。

5ダッシュボードサーバー

配信サーバーは「Kafka を読む複数スレッド」と「WebSocket を配る asyncio ループ」を、ロック付きの共有メモリで橋渡しする構造です。

Kafka flight_positions flink_* (4本) flight_anomaly flight_proximity dashboard_access_log スレッド(同期処理) kafka_consumer_thread 位置を latest_flights に反映・緊急機検出 kafka_ksql_consumer_thread Flink 出力を正規化・昇降率の連続判定 proximity_detector_thread 5秒毎 ハーサイン距離+グリッド探索 access_log_consumer / HTTP 閲覧者 IP を Kafka へ記録・静的配信 consumer.poll() を無限ループ(daemon) 共有メモリ latest_flights pending_updates pending_japan airline/phase cache anomaly history 全て *_lock で保護 asyncio タスク batch_broadcast (1秒) 更新機体を重複排除して送信 japan_broadcast (2秒) 日本登録機の更新 periodic_snapshot (30秒) 1,000機ずつ分割して全量送信 kafka_rate_task 受信レート・集計を配信 prune / mock_data 古い機体の削除・モック生成 WebSocket クライアント 複数ブラウザ へ broadcast
WebSocket メッセージ種別
typeタイミング内容
snapshot_chunk / end接続直後・30秒毎全機体(1,000 機単位に分割)
batch_updates1 秒毎更新された機体のみ
japan_update2 秒毎日本登録機 (Flink)
airline_stats集計到着時航空会社別 (Flink)
phase_stats / altitude_band_stats集計到着時フェーズ・高度帯 (Flink)
anomaly_alert検知時異常・異常接近アラート
kafka_rate / timeseries_update定期受信レート・時系列点
サーバー側で行う判定(Flink 外)
  • 急降下/急上昇の連続判定
    |vrate| > 20 m/s が 2 回以上連続で「注意」、> 30 m/s(約 6,000 ft/min)で「緊急降下疑い」。途切れが 30 秒超でカウントをリセット。
  • 機体同士の異常接近
    経緯度を 0.1°×0.15° グリッドに分け、近傍セルのみハーサイン距離で比較。
    caution: 水平 <5NM かつ 垂直 <250m / emergency: 水平 <3NM かつ 垂直 <152m。連続 2 サイクル+ 120 秒クールダウン。
  • Kafka 受信レートを算出し KPI として配信
Flink は 状態を持たない 1 レコード判定、複数サイクルをまたぐ判定や「機体 A と B の位置関係」はメモリ上の最新状態が必要なため Python 側で実装、という役割分担です。

6フロントエンド

4 画面は共通ナビで行き来でき、いずれも同じ WebSocket エンドポイントに接続して必要なメッセージだけを描画します。

🗺 4_dashboard_map.html Leaflet.js のダーク地図に機体を機首方向へ回転して表示。位置は更新ごとに補間して滑らかに移動。 サイドバー 4 タブ:全機体 / 日本登録機 (Flink) / 緊急機 / 航空会社別 (Flink)。高度フィルタ・検索・異常接近の強調表示。
📊 9_dashboard_stats.html Chart.js による統合統計。フェーズ・高度帯・航空会社別・日本機比率・Kafka レートなど。 Flink 集計トピック由来の値を中心に描画。
📈 5_dashboard_analytics.html 高度分布・速度分布・時系列推移などのリアルタイム分析。 timeseries_update を折れ線に追記。
⚠ 11_dashboard_anomaly.html anomaly_alert を一覧表示。重大度別の色分け、接続時は履歴を復元。 Flink の異常判定+サーバーの連続判定・接近検知の結果。
接続時のシーケンス ブラウザ プロキシ Python サーバー WebSocket 接続 Upgrade を転送 snapshot_chunk × N → snapshot_end(全機体) anomaly_history / emergency_history / 各種集計スナップショット 以降:batch_updates(1秒)・japan_update(2秒) アラート・集計は発生時に push

7耐障害・フォールバック設計

デモが止まらないよう、段階的に代替動作へ切り替わる作りになっています。

Flink 未稼働

Option B(直接計算)
Flink 派生トピックが無い/空の場合、サーバーが latest_flights から航空会社・フェーズ・高度帯を直接集計して同じ形式で配信。地図は flight_positions のみで動作。
派生トピック未作成

自動再試行
購読前に list_topics で存在確認し、無ければ 30 秒待って再試行。Consumer がクラッシュしても自動再接続。
Kafka データ停止

モック機体
30 秒データが来なければ東京周辺にダミー機体を生成して画面が空にならないように。
大量データ

チャンク送信
スナップショットは 1,000 機ずつ分割し、WebSocket のタイムアウトやメッセージ肥大を回避。更新は 1 秒バッチで重複排除。
不正アクセス対策

サーバー保護
アクセス制御・接続数/受信サイズの制限・死活監視による不要な接続の切断を実施。
デモ用データ

ダミー投入
デモ用データ投入ツールで、外部 API なしでもダミー機体・異常データ・異常接近を流せます。

8配置とアクセス経路

ストリーム基盤(Kafka / Flink)とダッシュボードサーバーは別の環境に分離し、利用者は制限されたアクセス経路から接続します。

利用者 ブラウザ ダッシュボードサーバー リバースプロキシ(静的ファイル / WebSocket 中継) 配信サーバー(Kafka 購読 → WebSocket) データ取得プログラム(常駐) ストリーム基盤(Confluent Platform) Kafka クラスター複数ブローカー Flink 管理機能SQL の投入・管理 Flink 実行基盤JobManager / TaskManager 監視 UIControl Center 接続情報は環境変数で管理し、コードに直書きしない HTTPS WebSocket Kafka 認証 + TLS
起動順序(概要)
  1. Flink セットアップ — Kafka トピック作成 → Flink テーブル定義 → 5 つの INSERT ジョブ起動(初回のみ)
  2. データ取得開始 — ADSB.lol → flight_positions への書き込み開始(API 不要ならデモデータ投入ツールで代替)
  3. 配信サーバー起動 — Kafka 購読 + WebSocket / HTTP 配信
  4. ブラウザでダッシュボードを開く(地図画面から各画面へ遷移)