天候・照明変化に対して堅牢な画像照合方法の評価 の履歴(No.4)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 天候・照明変化に対して堅牢な画像照合方法の評価 へ行く。
  • 1 (2013-03-04 (月) 13:48:56)
  • 2 (2013-03-04 (月) 15:03:35)
  • 3 (2013-03-05 (火) 13:26:34)
  • 4 (2013-03-05 (火) 16:07:58)
  • 5 (2013-03-05 (火) 16:32:59)
  • 6 (2013-03-12 (火) 08:18:02)

---

太田研 公開用Wiki

天候・照明変化に対して堅牢な画像照合方法の評価†

はじめに†

画像照合は様々な場面で使用されているが、用途の一つに自律走行ロボットの自己位置推定がある。ロボットが走行する際にはあらかじめ画像を記憶させておき、自律走行時には現在のカメラ画像と記憶画像を画像照合させることで、自己位置を確定させる。

しかし、このような撮影時期が異なる画像を照合するには、天候・照明条件が変化しても安定して照合できる照合方法が必要である。

研究目的†

自律走行ロボットが画像照合を用いて自己位置推定を行うには、様々な天候・照明条件のもとで安定して結果が得られることが求められている。本研究では画像照合方法の一つであるテンプレートマッチングに焦点を絞って実験し、天候・照明変化に対して堅牢な(ロバストな)画像照合方法を評価した。

画像照合方法の評価手法†

テンプレートマッチング†

テンプレートマッチングとは、入力画像とテンプレート画像を比較しながら照合を行い、類似度もしくは相違度を計算し、その数値からマッチング対象を検出する手法である。

マッチングアルゴリズム†

テンプレートマッチングにはいくつかのマッチングアルゴリズムがあるが、今回評価したのは以下の4つのアルゴリズムである。

• SSD(Sum of Squared Difference)
  入力画像とテンプレート画像の画素値の差の二乗和を使って相違度を求める手法

• NCC(Normalized Cross-Correlation)
  入力画像とテンプレート画像の画素値の相互創刊を使って類似度を求める手法

• ISC(Increment Sign Correlation)
  注目画素と隣の画素の画素値の大小関係に注目した手法

• SRF(Sraristical Reach Feature)
  注目画素から一定の距離にある画素の画素値の大小関係に注目した手法

評価†

本研究ではマッチングアルゴリズムのロバスト性、照合対象物のロバスト性を評価するために以下の2つの実験を行った。

• 画像照合方法のロバスト性の評価実験
  入力画像と画像上の5ヵ所のテンプレート画像を、各マッチング手法を用いてマッチングさせ、成功回数をカウントすることで各マッチング手法のロバスト性を評価

• 画像照合対象物のロバスト性の評価実験
  画像一枚の全体を一定のサイズに分割し、分割した画像全てを入力画像とマッチングさせ、成功回数をカウントすることで画像照合対象物のロバスト性を評価

実験†

使用画像†

使用した画像は6月9日から13日までの5日間の4:15から19:15までを1分毎に撮影した画像4500枚(640×512[pixel])を使用した。

[実験1] 画像照合方法の評価実験†

• テンプレート画像
  使用したテンプレート画像は2日目の画像から以下の5ヵ所を切り出して使用した。
  
  
  図4：テンプレート画像
  
  • 構造物のテンプレート
    構造物のテンプレートとして近くにある窓枠、遠くにある遠方の建物(校舎)、地面上の対象として道路標示(路面)を選出した。これらのテンプレートは主に直線成分で構成されており、画像中での構造は比較的単純である。
  • 自然物のテンプレート
    自然物のテンプレートとして近くにある木、遠くにある遠方の山を選出した。これらのテンプレートは細かな成分で構成されており、画像中での構造は比較的複雑である。

• 実験結果
  以下に5日間のマッチング結果を示す。マッチングの成功判定は、検出した位置がテンプレートの位置からユークリッド距離で3[pixel]以内であれば成功と判定した。

結果からSSD、NCCは撮影日やテンプレートによってマッチング成功率に差が出ていて不安定であるが、ISCとSRFは全てのテンプレートで安定して高い成功率を示している事がわかる。よってISCとSRFは天候・照明変化に強いといえる。

[実験2] 画像照合対象物の評価実験†

• テンプレート画像
  使用したテンプレート画像は2日目の1枚の画像を100枚に分割して使用した。
  
  
  図5：分割テンプレート画像
• 実験結果
  以下に5日間のマッチング結果を示す。成功率が低い部分は青く、高い部分は赤く色付けしている。マッチングの成功判定は、検出した位置がテンプレートの位置からユークリッド距離で3[pixel]以内であれば成功と判定した。
  
  
  図6：SSDのマッチング結果
  
  
  
  図7：NCCのマッチング結果
  
  
  
  図8：ISCのマッチング結果
  
  
  
  図9：SRFのマッチング結果
  

画像右下部分では成功率が低くなっているが、これは駐車している車が撮影時間で変わっていたり、駐車していない場合があるためであり、これ以外の部分で評価した。NCCとISCではほぼ全ての部分で高いマッチング成功率が得られた。SSDとSRFでは山や木の部分ではマッチング成功率は低くなった。そして全てに共通して、校舎や窓枠部分では安定してマッチングできている。よって、画像照合の対象物として人工的な構造物が天候・照明変化に強いといえる。

考察†

実験1では結果の表からSSD、NCCはISC、SRFと比較すると、路面に対してマッチング成功率が低くなっている。これは雨により路面に水たまりができ、道路上の模様が見えなくなってしまったことや晴れた際に影の影響で違う模様であると判断してしまったためと考えられる。また、昼と夜の路面を比べると明るさに大きな差があるが、この場合でもISC,SRFではマッチングに成功している

このことからISC,SRFは天候・照明変化に対して堅牢であるといえる。

しかし、実験1で安定して高いマッチング成功率を得られたSRFは、実験2においては山や木の部分で成功率が低くなっており、自然物を対象としてマッチングする場合は大きいテンプレートを使用する必要があると考えられる。

以上から天候・照明変化に対して堅牢な画像照合方法はISCを用いて構造物に対して画像照合させることだと言える。

まとめ†

本研究では天候・照明変化に対するロバスト性を画像照合方法および画像照合対象物の観点から、テンプレートマッチングをつかって実験し、評価を行った。画像照合方法の観点からはISC,SRFが天候・照明変化に対して高いロバスト性を持ち、画像照合対象物の観点から人工的な構造物が高いロバスト性を持つことがわかった。しかし、SRFは自然物を対象に画像照合を行う場合には大きなテンプレートが必要であることが考えられる。

以上のことからISCを用いて構造物に対して画像照合させることが天候・照明変化に対して堅牢な画像照合方法だと言える。