スポーツ選手の運動解析を目的とした背景差分とラべリングによる移動体追跡

太田研 公開用Wiki

スポーツ選手の運動解析を目的とした背景差分とラべリングによる移動体追跡†

はじめに†

近年、スポーツにおいてもＩＴを用いることが一般的になってきている。例えば、サッカーの試合で選手の動きをデータ化して解析したり、野球で投手の配球パターンを分析したりと、スポーツにおけるIT 活用は枚挙に暇がない。特にIT のなかでも、データが注目されている。チームスポーツにおいて、選手個人の客観的データの取得や戦術分析のために、選手の行動解析データが必要になってくる。スポーツにとってデータは必要不可欠なものになってきている現状がある。野球やサッカーをはじめ、さまざまなスポーツ競技データを扱う専門企業まで存在することからも、スポーツにおいてデータがいかに大切かということがわかる。しかし、解析には、一般的に手作業で行われることが多く、多くの時間と労力が必要になってくる。したがって、コンピュータによる自動化が強く望まれている。一方、画像処理のハードウェアの進歩により、動画像のリアルタイム処理が盛んに行われるようになってきており、さらなる精度の向上と処理速度の向上が期待されている。

本研究では、動いている物体を追跡することを目的としている。主な対象は人である。背景差分とラベリングにより移動物体の追跡を行った。また、追跡結果を視覚的にわかりやすくするためにグラフによる出力を行った。今回の研究では、スポーツでの使用を主な目的としているため、普段の生活などその他の状態を考慮していない

本手法の説明†

全体処理の流れ†

本実験の全体的な流れは、動画から1 フレームを取り 出し、そのフレームにたいして、前景と背景を分離し、物 体の抽出を行う。そしてその物体から追跡対象を判別し、 フレームごとに追跡対象物体の追跡を行う。抽出の手法 として、背景差分。判別の手法としてラベリング。追跡の 手法として、ユーグリッド距離、面積、移動方向を用いて実験を行 う。おおまかな処理の流れは以下の通りである。

1. 背景差分により物体抽出
2. ラベリングによる物体判別
3. 物体の重心のユーグリッド距離、物体面積、移動方向による追跡

物体抽出†

動いている物体を追跡するには、まず動いている物体 を抽出しなければならない。抽出方法はさまざまな方法 がある。今回は、抽出する物体が多くないということを 想定しているため、背景差分を用いた。

背景差分法とは、背景の情報を記憶しておき、現在 の画像の各画素が背景に属しているか否かを何らかの基準で評価して、現在の画像を前景と 背景に分割する手法のことである。

物体判別†

物体を抽出した後に、複数の物体が抽出場合、それぞれを判別しなければならない。今回は、判別手法にラベリング処理を行った。

同じ連結成分に属する全ての画素に同じラベル（番号）を割り当て、異なった連結成分に は異なったラベルを割り当てる操作を、連結成分のラベリングという。ラベリング操作は、 個別の連結成分の属性の解析に先だって各成分を抽出するために、不可欠の操作である。

物体追跡†

今回は、3つの手法で追跡を行った。

1. フレーム間の重心距離による追跡 （ｘ軸の距離）の二乗と（ｙ軸の距離）の二乗の和をルートした値ので計算を行う。要するにピタゴラスの定理で求められる距離のことである。ピクセルはひとつの点だと仮定すれば、空間的処理はユークリッド距離を使うことになる。
   
   図5　フレーム間の重心距離

本実験では、フレーム間ごとにそれぞれのラベルの物体の重心を求め、そのフレーム間の重心のユーグリッド距離を用いている。

1. 移動方向による追跡 この処理には、3 フレームを用いる。2 つ前のフレームと1 つ前のフレームからその物体 の移動方向を調べ、現在の物体がその方向に存在すれば、追跡対象候補とする処理である。
   
   図6　移動方向

1. 面積による追跡 ラベリング処理を行う時に、求めた面積により物体を判別する。前フレームの物体の面積 と現フレームの面積を比較することにより、追跡物体を検出する。また、面積が小さすぎる 物体に対しては、追跡対象としない判定を行うところで使用している。
   
   図7　面積差

実験†

それぞれの手法による追跡の実験を行った。また、それぞれの手法を組み合わせた方法での実験も行った。

1. 距離
2. 移動方向
3. 面積

実験結果†

Capture ウィンドウは、キャプチャした画像を表示する ウィンドウ。Original ウィンドウは、背景差分をした結果を表示するウィンドウ。Foreground Mask ウィンドウは背景差分した結果に平滑化や膨張収縮を加えた画像を表示するウィンド ウ。Result ウィンドウは追跡対象人物の重心の位置を表示するウィンドウを表す。

グラフは、左上が原点（0，0）になっており、x 軸は画像の幅、y 軸は画像の高 さを表している。追跡したのは、移動物体が二人の映像で、最初のラベル番号が2 の人物を 追跡した結果である。

考察†

背景差分とラベリングにより、物体を判別し、重心のユーグリッド距離、面積、移動方向に よりある程度の追跡が可能であるという結果が得られた。 それぞれの手法を組み合わせることによって、それぞれの弱点を補間し、精度が向上した場合もあった。ただし、すべてにおいて向上したわけではない。本実験のなかでは、距離と面積を組み合わせたものの精度が良かった。またまだ完全ではないため、追跡対象の選択や、映像によってはまだ正確ではない。

最新の10件