車両
車両 RF-DETR Small
道路を走る車両を見つけ、乗用車・バン・トラック・バスなど日本の9つの種類に分ける物体検出モデルです。交差点の固定カメラの映像では、追跡と組み合わせて、道路ごとに入った台数と出た台数、どの道路からどの道路へ行ったかを数えられます。
映像から、こう台数を数えています
- 1
車両を見つける
フレームごとに車両を検出し、スコアが0.3以上の枠を残します。同じ車両に違うクラスの枠が重なったときは、1つにまとめます。
- 2
フレームをまたいでつなぐ
追跡（ByteTrack）で、前のフレームの枠と同じ車両を結びます。途中で番号が替わった追跡は、消えた場所と時刻が近ければ1台につなぎます。
- 3
ゲートを越えた車両を数える
交差点につながる道路ごとに、出入口を横切るゲートを置きます。車両の枠の下辺の中央が、ゲートを交差点の内側へ越えたらその道路から入った1台、外側へ越えたら出た1台として数えます。入ったゲートと出たゲートから、どの道路からどの道路へ行ったかも分かります。
入力と出力
- 検出対象
- 車両。乗用車・バン・軽トラック・小型トラック・中大型トラック・トレーラー・バス・オートバイ・特殊車両（建設機械・作業車など）の9クラスに分けます。交通量調査の4区分（乗用車・小型貨物車・バス・普通貨物車）と2区分（小型車・大型車）に足し合わせる表を、配布物に付けています。自転車と人は対象外です。
- 元にしたモデル
- RF-DETR Small（COCOで事前学習した公開重み、Apache-2.0）に、日本の道路で撮られた画像を追加学習させました。
- 入力
- 縦横512ピクセルのカラー画像（RGB）。
- 出力
- 1枚につき300件の候補を、位置（画像に対する0〜1の割合）、スコア（確からしさ、0〜1）、クラスで返します。重複した候補をまとめる処理（NMS）は要りません。
- 形式
- PyTorch、ONNX
- しきい値
- 0.45。スコアがこの値以上の候補を、車両として扱います。検証用の画像で、見逃しと誤検知のつり合いが一番良くなる値に決めました。
- 台数の数え方
- 検出した車両を追跡（ByteTrack）でフレームをまたいでつなぎ、画面に置いた線か、交差点の道路ごとに置いたゲートを越えた車両を1台として数えます。そのためのコードも同じ場所で公開しています。
- ライセンス
- Apache-2.0
評価の結果
| 指標 | テスト用（429枚・車両1,369台） |
|---|---|
| AP50（9クラスをまとめた検出の正確さ） | 0.642 |
| 適合率（検出が正しかった割合） | 0.843 |
| 再現率（見逃さずに検出できた割合） | 0.752 |
| 再現率（クラスを問わず、車両として検出できた割合） | 0.820 |
| 再現率（乗用車） | 0.816 |
| 再現率（バス） | 0.813 |
| 再現率（中大型トラック） | 0.576 |
| 再現率（オートバイ） | 0.561 |
| 再現率（バン） | 0.508 |
| 交差点の映像3分で、道路ごとに入った台数が合った割合 | 90%（103台中93台） |
| 同じ映像で、道路ごとに出た台数が合った割合 | 94%（104台中98台） |
| 同じ映像で、どの道路からどの道路へ行ったかが合った割合 | 79%（91台中72台） |
検出の数値は、しきい値0.45のときの値です（AP50を除く）。テスト用の画像は学習に使っていない8つの地域で撮られたもので、この評価に使ったのは1回だけです。しきい値は、テスト用の画像を見る前に決めました。テスト用の正解の枠（アノテーション）はAIが付け、開発者が数の少ないクラスを確かめたもので、1枚ずつの確認はしていません。軽トラック・小型トラック・トレーラー・特殊車両はテスト用に30台未満しかないため、クラスごとの数値を載せていません。台数の数値は、渋谷のスクランブル交差点のライブカメラの録画（昼、3分）に、道路ごとのゲートを越えた車両を、AIがモデルの出力を見ずにフレームから数えた正解と比べたものです。
使うときの注意
- 小さく写った車両（32ピクセル角未満）は見逃しやすくなります。高い所から撮った映像のオートバイも見逃しがちです。
- バンを乗用車と誤判定することがあります（テスト用でのバンの再現率は0.508）。軽トラック・トレーラー・特殊車両は学習に使った画像が少なく、他のクラスより見逃しやすくなります。
- 夜間の、荷台が光る広告トラックを見つけられなかった例があります。
- 混雑した交差点で車両がすれ違うと、追跡の番号が別の車両に移り、どの道路からどの道路へ行ったかがずれることがあります。大型車の陰に隠れた車両も同じです。
- 交通量調査や安全についての判断を、このモデルの結果だけで行わないでください。
まずは状況をお聞かせください
みちカルテの試験運用や検知モデルの構築について、依頼が固まっていない段階でも構いません。手元にある写真や動画の種類と、困っていることを書いていただければ、できることとできないことをメールでお返事します。