![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
[[FrontPage]] *シーン照合のための照明変化に対して堅牢な画像照合方法 [#x624bc41] #contents *はじめに [#e2858542] ~近年様々な分野でロボットの需要が高まっているが、その中に自律走行ロボットというものがある。&br; //画像の挿入 #ref(自律走行ロボット.jpg,center) CENTER:図1. 自律走行ロボット 自律走行ロボットは特定の経路をロボット自身が考えながら走行するロボットだが、そのためにはロボットが現在いる位置、自己位置を知ることが必要となる。これを画像照合を用いて行うには風景画像に対して照合を行う必要がある。&br; しかし、時間や天候の変化によって画像の照明条件が変わり、安定して画像照合が行えないという問題がある。 **研究目的 [#l50e4e9d] ~ そのような問題がある場合でも画像照合を行う対象を適切に選ぶことで照明条件が変わっても安定した画像照合を行うことができると考えられる。そして、その対象が持つ特徴を知ることで、その特徴を指標として安定した照合が行える対象を選ぶことが可能となると考えられる。&br; ~ そこで本研究では照合方法をテンプレートマッチングに焦点を絞り、照明変化があるシーンに対して安定したテンプレートマッチングを行えるテンプレート画像を選び出すことを目的として、シーン照合のための照明変化に対して堅牢な画像照合方法について実験、評価を行った。 *評価手法について [#b7ef03e1] **実験構成 [#m43d8702] 実験では検出対象が写ってる画像群(画像群1)と検出対象が写っていない画像群(画像群2)に対してテンプレートマッチングを行う。画像群1では高い類似度が得られ、画像群2では低い類似度となるのが理想的であるが、検出対象を無作為に選んだ場合、画像群1では低い類似度、画像群2では高い類似度となってしまう場合が発生する。このような場合は検出対象がないにも関わらず、検出対象があると判断してしまい、ロボットの走行でこのような状況になると自律走行に失敗してしまう。&br; これを解決するためには画像群1では常に高い類似度となり、画像群2では低い類似度となるテンプレートを選び出すことができれば良いと考えられる。そこで本研究では画像を格子状に分割し、分割した画像全てをテンプレートとして、分割した画像と同じシーンの画像とそれとは全く異なるシーンの画像に対してテンプレートマッチングを行い、その類似度の差を評価値としてテンプレートから幾つかの指標を抽出し、指標と評価値の関係を調べるという実験を行った。評価値については後述するが、下図の上位5%&点と下位5%点の類似度を使用している。&br; //画像の挿入 #ref(類似度分布例4.jpg,center) CENTER:図2. 類似度分布のイメージ この評価値が高いテンプレートというのは上図のような類似度分布となるテンプレートであるため、この評価値が高いほど理想的なテンプレートマッチングが行えるテンプレートであると言える。そして、指標と評価値の関係を調べることで指標の値から評価値が高くなるテンプレートを自動で選び出せるようになると考えた。以上から、理想的なテンプレートマッチングを行えるテンプレートを自動で選び出すことを目的として今回の実験を行った。 **画像照合方法 [#tca8dcad] ***テンプレートマッチング [#c6315ae9] 今回画像照合にしようした手法はテンプレートマッチングと呼ばれる手法である。&br; テンプレートマッチングとは、入力画像と呼ばれる未知画像と検出対象であるテンプレート画像を重ね合わせることで比較照合し、両者が一致しているかを判定する画像認識の手法の1つである。下図のような入力画像とテンプレート画像を重ね合わせ、テンプレートを少しずつ動かして入力画像全体でマッチングスコアを計算して、テンプレート画像と似ている箇所を検出する。 //画像の挿入 ***マッチングアルゴリズム [#gcaf814e] 本研究では古典的なマッチングアルゴリズムであるNCC(正規化相互相関)を使用してマッチングスコアである類似度を計算している。NCCは入力画像とテンプレート画像の画素値から平均が0、分散が1となるように正規化して相関を取った量である。入力画像をI、テンプレート画像をT、注目画像を(i,j)とすると以下の式で計算される。&br; //式画像の挿入 #ref(NCC-1.png,center);&br; #ref(NCC-2.png,center);&br; NCCは画素の明るさを正規化した量であるため、明るさが変わっても安定した結果が得られるという特徴がある。 **評価指標 [#k2113d63] 本研究では照明変化があるシーンにおいて安定してテンプレートマッチングを行えるテンプレートを選ぶために3つの指標について評価した。 + テンプレート画像のエッジ強度の平均値 + テンプレート画像の閾値以上のエッジ強度を持つ画素の割合 + テンプレート画像のHOGのエントロピー 最初の2つの指標ではエッジ検出を用いている。エッジは画像中の明るさが急激に変化する箇所であり、そうした箇所は画像全体の明るさが変化した場合でも検出が可能であると考えられるため用いている。今回はソーベルオペレータを使用してエッジの検出を行った。&br; HOGのエントロピーは画像中の人工物の検出を行う際に使用されている手法であり、人工物の有無は画像全体の明るさが変化した場合でも変わらないのではないかと考えられるため、今回使用した。 **評価値 [#m031f704] 今回使用した指標の評価のために評価値S5を定義して使用した。S5は2つの画像群に対して同じテンプレートを使用してテンプレートマッチングを行い、その類似度の差を用いている。&br; 使用する画像群は1つはテンプレートと同じシーンで照明条件に変化がある画像を集めた画像群(画像群1)、もう1つはそれとは全く異なるシーンを撮影した画像群(画像群2)を使用する。画像群1ではテンプレートを切り出した箇所に対してテンプレートマッチングを行い、類似度を計算する。そして類似度をソートし、下位から5パーセントの点の類似度(画像100枚の時、5番目に低い類似度)を使用したテンプレート画像の下位5パーセント点の類似度とする。画像群2では画像全体でテンプレートマッチングを行い、類似度を計算しソートを行い、上位から5パーセントの点の類似度をそのテンプレート画像の上位5パーセント点の類似度とする。&br; そして下位5パーセント点と上位5パーセント点の類似度の差を評価値S5とし、以下のように表せる。&br; #ref(S5.png,center)&br; この評価値S5が高いテンプレートと言うのは図2の様な類似度の分布を取るテンプレートであり、理想的なマッチングが行えるテンプレートであると考えられる。そのため、S5が高いテンプレートを選ぶことで、照明変化があるシーンに対して安定した画像照合が可能であると考えたため、この評価値を使用し実験、評価を行った。 **実験及び評価手法 [#eea9f65b] 今回行った実験は画像を256枚に分割した画像をテンプレートとして使用し、テンプレートを切り出した画像と同じシーンの画像群と、それとは全く異なるシーンの画像群に対してテンプレートマッチングを行い、評価値S5を計算し、3つの指標を評価した。&br; 3つの指標の値を求め、ソートし、それぞれを上位から4つのグループに分類し、グループ同士のS5の分布を比較した。また、それぞれの指標毎に評価値S5との関係を散布図と相関係数を求めて比較を行った。 *実験 [#he208d5d] **使用画像 [#f139db4b] -入力画像&br; 使用した入力画像は定点から複数日にわたって撮影した照明条件に変化がある画像から選び出した100枚の画像群と、様々な風景を撮影した画像200枚の画像群を使用した。 #ref(画像群1雨.jpg,center) #ref(画像群1昼.jpg,center) #ref(画像群1夜.jpg,center) CENTER:図3. 画像群1の画像例 #ref(画像群2-1.JPG,center) #ref(画像群2-2.JPG,center) #ref(画像群2-3.JPG,center) CENTER:図4. 画像群2の画像例 -テンプレート画像&br; 使用したテンプレート画像は入力画像群の定点から撮影した画像軍と同じ風景の画像を256分割した画像である。テンプレート画像を切り出した画像は入力画像の画像群には含まれていない。 #ref(テンプレート全体画像.jpg,center) CENTER:図5. テンプレート全体画像 #ref(使用テンプレート画像例.jpg,center) CENTER:図6. 使用テンプレート画像例 **実験結果 [#je61ef8f] 最初に、指標毎に4つのグループに分類した時のS5の分布を示す。指標1、指標2ではグループ1が指標の値が高いテンプレートを集めたグループ、指標3ではグループ1が指標の値が小さいテンプレートを集めたグループとなっている。 #ref(S5分布-Es.jpg,center) CENTER:図7. 指標1のS5の分布 #ref(S5分布-Eth.jpg,center) CENTER:図8. 指標2のS5の分布 #ref(S5分布-Ehog.jpg,center) CENTER:図9. 指標3のS5の分布 指標1、指標2ではグループ間でS5の分布に差が出ているが、指標3では差があまりないことが確認できる。指標1と指標2では指標の値が高いグループでは高いS5の分布にピークが有り、指標の値が低いグループになるにつれてS5の分布も低くなるように分布することが望ましく、そのような結果が得られているため、これらの指標はS5と関連性がある指標であると考えられる。一方指標3では指標の値が低いグループであるほどS5の分布が高くなることが望ましいが、結果からでは明らかな差が付いているとは言えない。&br; 次に3つの指標とS5について散布図と相関係数をいかに示す。散布図は縦軸がS5、横軸がそれぞれの指標、図中の点の数字はテンプレート画像の番号である。 #ref(散布図Es3.jpg,center) CENTER:図10. 指標1とS5の散布図 #ref(散布図Eth3.jpg,center) CENTER:図11. 指標2とS5の散布図 #ref(散布図Ehog3.jpg,center) CENTER:図12. 指標3とS5の散布図 CENTER:表1：各指標とS5についての相関係数 #ref(相関係数.png,center) 散布図から指標1と指標2は指標の値が高くなるにつれてS5の値も高くなる傾向があることが確認でき、相関係数からも相関があることが確認できる。一方指標3では指標の値とS5には指標の値が低いほどS5の値が高くなる傾向はあるものの他の2つの指標ほどの明確な傾向は確認できず、相関係数からも他の2つの指標ほど相関はないことが確認できる。&br; 以上の結果からエッジ強度を指標とすると、照明変化に対して安定したマッチングが行えるテンプレートを選ぶことができると考えられる。 *考察 [#e817a91d] 今回の結果を踏まえたシーンマッチングの構成について考察を行う。 画像中のエッジ強度の平均値が高い箇所をテンプレートとしてテンプレートマッチングを行うことで、検出対象が含まれているシーンと含まれていないシーンの両方の場合で安定したマッチングが行えると考えられる。自律走行ロボットはシーンマッチングを行いながら自律走行を行うが、経路上で同じテンプレートを使い続けるのではなく、何枚ものテンプレートを切り替えながらマッチングを行っていく。そして、テンプレートの切り替えには対象物が写っているかどうかを安定して判定できる必要がある。エッジ強度の平均値が高いテンプレートは検出対象が写っている場合は高い類似度を得られ、検出対象が写っていない場合は低い類似度を得られるということが分かったため、1つの方法として以下のように指標を使って選んだ箇所に限定してマッチングを行うことで、シーンマッチングにおいて安定してマッチングが行えると考えられる。 #ref(テンプレート抽出例2.png,center) CENTER:図13. 使用するテンプレートを限定した例 このようにマッチング箇所を限定することで、照明変化に対して安定したマッチングが可能である部分でのみマッチングを行うことになるため、画像全体を使ってマッチングを行うよりも照明変化の影響を受けないマッチング結果が得られることが期待できる。また、今回使用した評価値S5の値が高い指標というのは検出対象が写っているシーンでは高い類似度を取り、写っていないシーンでは低い類似度を取るという特徴があるため、この指標で選んだ箇所に限定してマッチングを行うことで検出対象があるシーンとないシーンでの類似度に大きな違いが出ることも期待できる。&br; 今後はこの手法を用いてシーンマッチングを行い、その性能を評価することが必要となり、これを今後の課題とする。 *結び [#z1ba6e5f] 本研究では自律走行ロボットがテンプレートマッチングを用いて自律走行を行うために、照明変化があるシーンに対して安定したテンプレートマッチングが行えるテンプレート画像を選び出すことを目的として、3つの指標について評価値を定義して実験、評価を行った。評価した指標はテンプレート画像のエッジ強度の平均値、閾値以上のエッジ強度を持つ画素の割合、HOGのエントロピーの3つである。その結果、エッジ強度の平均値を指標としてテンプレート画像を選び出すのが良いという結果が得られた。この結果を踏まえたシーンマッチングの構成として、マッチング箇所の限定にこの指標を用いることで照明変化に対して安定したマッチングが行え、また、シーン中の検出対象の有無によって類似度に大きな違いが得られると考えた。今後の課題として、この手法を用いた時のシーンマッチングの性能について検証するということが挙げられた。 *参考文献 [#m3d433e7] [1] Jiang Gao，“What Entropy Tells About Man-Made Structures”，21st International Conference on Pattern Recognition(ICPR2012)，P 250-253，2012．~ [2] 國光智，淺間一，川端邦明，三島健稔，“値エッジ画像のテンプレートによる屋外環境下にある対象物の検出”，電気学会論文誌C(電子・情報・システム部門誌)，Vol.124 ，No.2，P 480-488，2004．~ [3] 山崎俊彦，“画像の特徴抽出：Histogram of Oriented Gradients(HOG)”，映像情報メディア学会誌，Vol.64，No.3，P 322-329，2010．~ [4] 画像処理ソリューション，“http://imagingsolution.blog107.fc2.com/blog-entry-186.html”~ [5] リモートセンシング画像処理＞エッジ・フィルタ，“http://rs.aoyaman.com/im_pro/b6.html”~ [5] リモートセンシング画像処理＞エッジ・フィルタ，“http://rs.aoyaman.com/img_pro/b6.html”~ [6] 田村秀行，“コンピュータ画像処理”，オーム社，2002．
