太田研 公開用Wiki

エッジ画像を用いた照明変化に堅牢なテンプレートマッチング

はじめに

研究背景

ロボットの種類の一つに自律走行ロボットというものがある.自律走行ロボットが正しく走行するためには,ロボットが自分の位置を正しく認識する必要がある.
ロボットが走行する場所は屋外を想定し,自己位置の特定にテンプレートマッチングを用いることとする.

問題点

屋外環境下でテンプレートマッチングを行う場合,1つの大きな問題がある.それは屋外環境下における対象物の検出は,非常に困難なものになるということだ.
なぜなら,屋外では画像の照明条件が大きく変化するためである.天候や時間によって日差しの向きが変わることはもちろん,同じ時間でも雲の動きによって影ができる等,画像の明るさは多様に変化してしまう.
次の画像はとある場所の固定カメラから,別の日に撮影した東京スカイツリーの画像である.

tree.jpg
図1 固定カメラから撮影した東京スカイツリーの画像

研究目的

自動走行ロボットが正しく走行するためには,上記のような照明条件の変化した画像に対しても,正しく対象物を検出する必要がある.
そのために本研究ではテンプレートマッチングにエッジ画像を使うことを考える.
基本的にテンプレートマッチングにはグレー画像を用いるが,エッジ画像を用いることで照明変化に堅牢なマッチングができると考えられる.
グレー画像,エッジ画像,2値エッジ画像の3種類の画像を用いて,風景画像に対してテンプレートマッチングを行い,エッジ画像および2値エッジ画像が,グレー画像に比べ,どの程度照明変化に対応することができるかを比較,検証する.

照合アルゴリズム

テンプレートマッチング

テンプレートマッチングとは,探索の対象となる画像の中から,テンプレートと呼ばれる特定の画像を探し出す方法である.

テンプレートマッチングでは,画像とテンプレートがどの程度にているかを示す値として,類似度という値を計算している.テンプレートの濃度分布を記憶し,対象となる画像と画素単位で類似度を計算する.

類似度の計算方法

類似度の方法法にはいくつか種類がある.実験で使用する3つの方法を以下で紹介する.

エッジ画像

エッジ画像とはエッジ検出処理を施した画像のことである.エッジ検出をすることで,画像の明るさが急激に変化している場所を検出することができる.
また,2値エッジ画像とはエッジ画像にさらに2値化処理を施したものである.2値化とは,画像の輝度値で閾値以上のものを255に,閾値以下のものを0にしたものである.閾値の決定には大津のアルゴリズムを使用した.

実験方法

実験1 マッチしたものを数える実験

定点カメラを用いて同じ場所から撮影した画像を100枚用意する.この画像は異なる日付,時間に撮影したもので明るさの変化大きいものである.
その100枚の画像の中から1枚の画像を選び,その画像から窓枠やアンテナ,木などの5種類のテンプレートを作成する.
100枚の画像および作成したテンプレートをグレー画像,エッジ画像,2値エッジ画像の3種類の画像にする処理を施した後,グレー画像ならばグレーのテンプレート,エッジ画像ならエッジのテンプレートのように,それぞれ対応する画像とテンプレートでテンプレートマッチングを行う.
そのときの類似度の計算方法にはSSD,NCC,ZNCCの3種類を使う.それぞれ正しくマッチングした数を数え,比較する.固定カメラから撮影した画像は次のようなものである.

実験2 類似度の比較を行う実験

実験1で正しくマッチングした時の画像の類似度の平均を計算する.
100枚の固定カメラから撮影した画像とはまったく関係のない風景画像50枚を用意し,その50枚の画像に対して実験1で作成したテンプレートを使い,実験1と同様にテンプレートマッチングを行う.
その時,最大マッチングとされた点の類似度の平均を計算する.2つの類似度の平均値の差を計算し,比較する.以下は,風景画像50枚の例である.

実験結果と考察

実験1

#ref(): File not found: "jikken1_09.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図8 6月9日のマッチング成功率
 
 

#ref(): File not found: "jikken1_10.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図9 6月10日のマッチング成功率
 
 

#ref(): File not found: "jikken1_11.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図10 6月11日のマッチング成功率
 
 

#ref(): File not found: "jikken1_12.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図11 6月12日のマッチング成功率
 
 

#ref(): File not found: "jikken1_13.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図12 6月13日のマッチング成功率
 
 

#ref(): File not found: "jikken1_total.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図13 5日間通してのマッチング成功率

実験2

実験1の結果から、ここではアルゴリズムにZNCCを用いている。
各テンプレートの5日間の類似度変化を散布グラフで以下に示す。
グラフの横軸が時間を、縦軸が類似度を表す。
類似度の最大値は1、最小値は0で、1に近いほど類似した画像であることを表している。
なお、テンプレートと同じ位置でマッチングを行っているため、常に類似度は高い値を示す。
テンプレートごとの違いを分かりやすくするために、グラフ縦軸類似度の最小値を0.9に設定している。

#ref(): File not found: "graph09.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図14 6月9日の類似度変化
 
 

#ref(): File not found: "graph10.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図15 6月10日の類似度変化
 
 

#ref(): File not found: "graph11.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図16 6月11日の類似度変化
 
 

#ref(): File not found: "graph12.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図17 6月12日の類似度変化
 
 

#ref(): File not found: "graph13.jpg" at page "エッジ画像を用いた照明変化に堅牢なテンプレートマッチング"

図18 6月13日の類似度変化

まとめ

実験1

実験1の結果から、今回調べた6種類のテンプレートマッチングアルゴリズムのうち、 天候・照明の変化に対して最も高い耐性を示すアルゴリズムはZNCCであるといえる。
ZNCCは明るさの変化に影響を受けにくいとされているが、そのことが本研究の結果からも証明された。

実験2

実験2の結果から、今回調べた5種類のテンプレートのうち、 天候・照明の変化に対して最も高い耐性を示すテンプレートは構造物としての窓枠であるといえる。
路面はその影響を受けやすく、単純にランドマークとして用いるのは好ましくない。
天候・照明変化に対しては、路面よりも自然物、自然物よりも構造物のほうがランドマークとして高いロバスト性を示す。
また、ランドマークまでの距離に関しても、遠方のものよりも近い位置にあるものの方がロバスト性の高い結果を得ることができる。

まとめ

以上のことから、屋外におけるテンプレートマッチングでは、

マッチングを行うことで、ロバスト性の高い結果を得ることができる。
自律走行ロボットがテンプレートマッチング手法を用いて自己位置推定を行う場合には、このような方法を用いることが望ましい。


トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS