定点観測画像を用いた風景照合手法の照明変化に対する堅牢性評価
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[太田研 公開用Wiki]]
*定点観測画像を用いた風景照合手法の照明変化に対する堅牢性...
#contents
*はじめに [#pd084368]
屋内外を自律的に走行するロボットにおいては、環境の情報か...
推定することが必要である。その方法として、LiDAR により周...
報を測定して照合する方法や、人工衛星からの信号により位置...
(GPS) などが利用されている。しかし LiDAR は高価であるため...
トに搭載する際に大きな負担となる。また、公園のグラウンド...
はうまく測定することができない。GNSS は遮蔽物や近くに高い...
ると使用できないなどそれぞれに問題がある.
これらに対してカメラを使用して風景の画像によって位置を特...
る [1]。予めロボットが走行するルートを撮影した画像群とロ...
ている画像との照合を行い、自己位置推定する手法である。こ...
部の風景から自分がどこにいるのかわかるようにロボットにも...
いる手法である。この手法は安価なカメラによって実現できる...
りの日、日陰や日なたなど照明条件の変化に影響を受けやすい...
そこで、照明変化に堅牢な画像照合手法 (マッチング手法) で...
かし、様々なマッチング手法がある中で照明変化に堅牢かどう...
が定まっていない.
そこで本論文では、図 1 に示すような同一風景を長時間にわた...
像群 (定点観測画像) を用いて、照明変化に堅牢な画像照合手...
価法を考案した。
CENTER:#ref(Fixed_point_image.png,center,60%)
CENTER:図1: 定点観測画像の例
*照明変化に対する堅牢性評価手法 [#n6b375bf]
**定点観測画像を用いる利点 [#f17d6220]
ロボットが自己位置推定をするときに予め撮影したルートの画...
たルートの画像（入力画像) でマッチングを行う。このとき画...
トとしてマッチングする場合、全く同じ位置から撮影した入力...
いが、撮影位置がズレてしまった時にマッチングできずに自己...
ができない場合がある。よって画像の撮影位置のズレなどを軽...
め撮影したルートの画像をたくさんの小領域に分割しそれぞれ...
する。そのテンプレートを使用して入力画像とテンプレートマ...
とによって撮影位置がずれていてもマッチングでき、自己位置...
できる。画像を用いて自己位置推定する場合もう一つ問題があ...
ルート画像と入力画像で天候などが違った場合に照明変化が大...
ングをする可能性がある。そのため照明変化に強いマッチング...
そこで図 1 のような定点観測画像を使用してマッチング手法が...
あるかを評価する。
定点観測画像とはカメラを固定し同一風景を長時間撮影した画...
て朝から夕方など照明が変化した画像セットになり、照明変化...
て同じになる。したがって定点観測画像の 1 枚から切り出した...
のすべての画像で同じ位置にマッチングするため、定点観測画...
法が照明変化に堅牢であるかどうかを評価するのに都合がいい...
えば、定点観測画像の 1 枚をロボットが予め撮影したルート画...
とする。そうした場合、他の時刻の画像はロボットが別の時刻...
像となる。基準の画像で作成したテンプレートを使用して入力...
トマッチングを行った時すべての場合で正しくマッチングしな...
の時、マッチングスコアの分布を考えると正しくマッチした時...
の図 2 である。
CENTER:#ref(matching_graph1.png,center,60%)
CENTER:図2: マッチングスコアの3次元グラフ
このグラフの縦軸はマッチングスコア、平面は画像に対応して...
高い箇所がマッチしたところである。基準画像で作成したテン...
異なる入力画像をマッチングした時、常にテンプレートの位置...
い図 2 のような分布になることが理想的である。正しい位置の...
のスコアの差が小さい場合は誤認識の可能性が大きくなり、差...
識をしている。
基準画像を除く定点観測画像でマッチングを行った時、すべて...
な分布になれば照明変化に堅牢なマッチング手法であるといえ...
案手法では基準画像を除く定点観測画像すべてのマッチングス...
ような分布であるかを検証し、照明変化に対して堅牢かどうか...
**提案手法 [#y84e6516]
1. 定点観測画像から基準画像を選び、基準画像からテンプレー...
2. 作成したテンプレートを使用して基準画像以外の画像とマッ...
テンプレートを作成した位置のスコアを Max、それ以外のスコ...
る。そしてそれらの差 Max−S の分布を求める~
3. 2 の操作を基準画像を除いたすべての時刻で行い、Max−S の...
Sd とする。Sd の分布の平均、標準偏差、誤認識した数を用い...
それぞれの手順ごとに説明を行う。
手順 1 では定点観測画像の特定の 1 枚 (基準画像と呼ぶ) か...
では 80 × 80 画素) の領域をテンプレート T(t, i, j) として...
CENTER:#ref(tmp.png,center,30%)
CENTER:図3: テンプレートの設定
手順 2 では基準画像から作成したテンプレート T(t0, i0, j0)...
点観測画像の別の時刻の画像とのテンプレートマッチングを行...
プレートと同じ位置での照合スコアを Max、それ以外の位置で...
く。基準画像を t0、異なる時刻の画像 t として Max を求める...
る。
CENTER:#ref(1式.png,center,80%)
次に S を画像 t 内で、求める式の条件は以下である。
CENTER:#ref(2式.png,center,80%)
Max を求める際にテンプレートを作成した位置から誤差 ±a の...
るがこれはカメラが揺れたりする場合を考慮している。実験で...
る。また、テンプレートマッチングのスコアは最小値と最大値...
範囲に正規化する。よってマッチングを画像全体で行った時に...
的な分布になっていれば Max は 1、S は 0 に近い値になるは...
布 1 付近に多く分布する。逆に理想的なマッチングができなか...
分布は 0 付近に多く分布する
手順 3 では手順 2 の操作を基準画像を除く全ての画像で行い...
を集計する。定点観測画像ごとに求めた Max−S の分布をすべて...
Sd とする。Sd の分布の 0 以上の領域が照明の変化にかかわら...
しい位置にマッチしたことを表している。0 未満の領域は誤認...
いる。Sd の分布が 1 付近に多く分布するほど定点観測画像を...
異なる位置でのマッチングスコアが綺麗に区別できているとい...
布は平均が高く、分散が小さいかつ誤認識がないのが好ましい...
より、テンプレートマッチング手法の照明変化に対する堅牢性...
*評価実験 [#zab1486c]
**実験で評価する手法 [#wb920312]
***SSD [#b9f2b424]
SSD(Sum of Squared Difference; SSD) は画像の輝度値同士の...
値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。
***ZNCC [#s97f2382]
ZNCC(Zero-mean Normalized Cross-Correlation; ZNCC) ではテ...
の画素値と参照画像の画素値からそれぞれ平均を減算し、その...
している。本実験では全画素で重みづけをして類似度を求めた...
値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。
***ISC [#sfc58c65]
増分符号相関 (Increment Sign Correlation; ISC)[2] は画像...
向を符号化し、一致する割合がどの程度かを調べることで画像...
う手法である。本実験では全画素で重みづけをして類似度を求...
値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。
***OCM [#h7526b76]
方向符号照合 (Orientation code matching; OCM)[3] は画像の...
の方向に対し符号を付け、符号に基づき画像間の照合を行う手...
本実験では全画素で重みづけをして類似度を求めた後に、類似...
値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。
**実験方法 [#m2338b38]
実験に用いた定点観測画像を図 4、図 5 に示す。時間は 9:00 ...
分間隔に撮影したものであり、全部で 53 枚である。サイズは...
である。
CENTER:#ref(Fixed_point_image.png,center,60%)
CENTER:図4: 定点観測画像1
定点観測画像 1 は晴天の日に４階の研究室から屋外を映したも...
として空や山など自然の風景が含まれている。また、壁などを...
から 17 時 50 分の画像まで刻々と照明が変化していることが...
CENTER:#ref(fixed_point_image2.png,center,30%)
CENTER:図5: 定点観測画像1
定点観測画像 2 は大学構内で撮影した画像群である。この定点...
一日通して日陰の場所が多く、そして建造物の壁が大半を占め...
して照明変化がそれほどない定点観測画像であるが図 5 の右端...
時 50 分の画像は非常に暗い画像となっている。
CENTER:#ref(定点観測画像分割.png,center,60%)
CENTER:図6 テンプレートの分割(定点観測画像1:13時) ...
定点観測画像の時刻 13:00 の画像を基準画像とした。そして図...
**実験結果 [#g78b2a25]
***ヒストグラム [#l28a53b7]
以下の図8 と図9 は Sd のヒストグラムを表した図である。y ...
いるのは基準画像を分割して作成したテンプレートの位置に対...
所のテンプレートを使って実験した結果の Sd のヒストグラム...
囲は 0 ∼ 1 に正規化してあるので、最も理想的なスコアの分布...
布する。0 以下に分布しているものは誤認識してしまった箇所...
CENTER:#ref(ヒストグラム1.png,center,80%)
CENTER:図8: 定点観測画像1のヒストグラム（基準画像13時)
図 (8a) のヒストグラムをみると、すべての手法で 0 以下の分...
る。特に SSD は誤認識を非常に多くしている。これは図 6 を...
めである。ISC や OCM は誤認識の数が少なく、マッチングの精...
かる。他のテンプレートのヒストグラムは同じような形となっ...
い値が多く分布しており、正しい位置と異なる位置でのスコア...
が確認できる。また、ZNCC は 0 以上の値も多いが分布してい...
り小さい値も多く分布している。ISC と OCM は正の部分に山を...
強い特性を示している、より大きい値に分布しているのは OCM ...
CENTER:#ref(ヒストグラム2.png,center,80%)
CENTER:図9: 定点観測画像2のヒストグラム(基準画像13時)
定点観測画像 2 のヒストグラムでは 4 つの手法すべてで 0 以...
し、良好な結果となったがより良い特性を示しているのは ISC ...
の中でも良好な結果は OCM となった。この結果から照明変化に...
トマッチングの手法は OCM であると考えられる。
***平均と標準偏差 [#s5cc8c8c]
は適当なテンプレートを選んで Sd のヒストグラムを表したが...
数値がどのようになっているのか、Sd の平均をすべてのテンプ...
た。以下の表は 6 行 8 列に分かれているが、これはテンプレ...
た位置に対応している。表 1 と表 2 は定点観測画像 1 と定点...
画像を基準画像として実験した時の Sd の平均である。平均が...
堅牢であるといえる。
CENTER:表1: 定点観測画像1のSdの平均(基準画像13時)
CENTER:#ref(Sdave.png,center,100%)
SSD については 1 行目で平均が負の値となる箇所があった。こ...
の画像を確認すると空であり、ヒストグラムの結果で述べたよ...
認識を多くしていることがわかる。ZNCC は SSD よりは値は高...
と比較すると低いという結果になった。ISC、OCM においては、...
値が高く、また SSD や ZNCC で負の値になっていたテンプレー...
ンプレートと比較すると値は低いが良好な結果となり、すべて...
良好な結果となった。ISC と OCM の中でも、OCM が特に良好な...
変化に強い特性を示した。
CENTER:表2: 定点観測画像2のSdの平均(基準画像13時)
CENTER:#ref(Sdave2.png,center,100%)
定点観測画像 2 は定点観測画像 1 と比較して日陰の部分が多...
あまり照明が変化していないため、定点観測画像 1 に対してす...
な結果となった。また、定点観測画像 1 と同様に SSD < ZNCC ...
という順で良好な結果になった。
Sd の平均が高い場合でも結果にばらつきがあれば、照明変化に...
まったということである。したがって、Sd の標準偏差を調べる...
化の影響による結果のばらつきがどれほど含まれているかを確...
の表 3 と表 4 に結果をまとめた。
CENTER:表3: 定点観測画像1のSdの標準偏差(基準画像13時)
CENTER:#ref(Sdstdev.png,center,100%)
定点観測画像１の結果では SSD、ZNCC は ISC、
OCM と比較して、標準偏差が大きく、照明変化による影響を受...
ことがわかる。ISC と OCM については標準偏差が小さく、照明...
軽減されていることがわかる。ISC と OCM を比較すると OCM ...
結果になった。
CENTER:表4: 定点観測画像2のSdの標準偏差(基準画像13時)
CENTER:#ref(Sdstdev2.png,center,100%)
定点観測画像 2 の結果では、Sd の平均の結果と同じように定...
測画像 1 の結果よりも良好な結果となった。
今までの結果はテンプレートごとに Sd の平均や標準偏差をま...
た。表 5 と表 6 はテンプレートごとではなくすべてのテンプ...
計した平均と標準偏差を、4 つの手法ごとにまとめた表である。
CENTER:表5 定点観測画像1(基準画像13時) 表6 定点観...
CENTER:#ref(全テンプレート平均.png,center,80%)
定点観測画像 1 を使用した場合と、定点観測画像 2 を使用し...
画像 2 を使用した結果の方がわずかに良好な結果となった。SS...
すべてを比較すると 2 種類の定点観測画像で同じ傾向の結果が...
OCM は平均が高く、標準偏差が低いので Sd が値の高い場所に...
いる。逆に ZNCC と SSD は Sd が値の低い場所に広く分布しス...
ないことがわかる。よって平均や標準偏差の結果を考慮すると...
響を受けていないのは OCM という結果になった。
***誤認識した数 [#u306d27d]
平均や標準偏差の結果が良好でも誤認識をしていた場合は照明...
いるので誤認識した数を調べた。誤認識とは Sd の分布で負の...
り、正しい位置のスコアが異なる箇所のスコアよりも小さくな...
ある。テンプレートごとに誤認識した数を表7 と表8 にまとめ...
表のマスの最大値は画像の縦×横（それぞれテンプレートの大き...
定点観測画像の枚数 (53 枚) で 11922933 である。
CENTER:表7: 定点観測画像1の誤認識した数(基準画像13時)
CENTER:#ref(誤認識1.png,center,80%)
定点観測画像 1 については ISC や OCM の結果は他の 2 つの...
の箇所が多く、誤認識の箇所が少なかった。ISCやOCMでも、1行...
数が多く、空の部分はマッチングしにくいことがわかる。わず...
の方が誤認識した数は少なかった。
CENTER:表8: 定点観測画像2の誤認識した数(基準画像13時)
CENTER:#ref(誤認識2.png,center,80%)
定点観測画像 2 については SSD と ZNCC も数か所誤認識して...
測画像 1 と比較してすべての手法で良好な結果となった。SSD ...
している箇所を図7で確認すると 1 行 1 列と 1 行 2 列は空や...
ない壁しかないため誤認識してしまった。また、2 行 8 列のテ...
を見ると暗くなり電気をつけている部屋であるため、ほかの時...
*考察 [#yc6b8f87]
**平均、標準偏差、誤認識した数の結果について [#w63951da]
前章では定点観測画像１と定点観測画像２について、それぞれ ...
均、標準偏差、誤認識した数などを求めた。2 種類の定点観測...
を行ったそれぞれの結果について定点観測画像の照明変化の含...
考察する。定点観測画像 1 では風景や壁などに日光が当たり、...
までの画像で刻々と照明が変化していく様子が観察できる。し...
像 2 では大学構内の日陰の部分などを観察した画像であり、照...
まれいない。17 時 50 分ちょうどの画像が比較的暗くなってい...
だけである。この照明変化の度合いが異なる 2 つの定点観測画...
結果、平均や標準偏差の結果にはあまり違いが表れなかったが...
プレートの箇所に違いがあった。その変化を表9 にまとめた。
CENTER:表9: 誤認識したテンプレートの数の変化
CENTER:#ref(考察1.png,center,80%)
すべての手法で定点観測画像 2 よりも定点観測画像 1 で実験...
識したテンプレートの箇所は増加した。つまり、照明変化があ...
い定点観測画像 2 では誤認識しなかったが、照明変化が強い定...
誤認識してしまったということである。増加の具合から特に SS...
変化が多いと誤認識しやすく、それに対し ISC,OCM は比較的影...
認識しにくいということが確認できる。ISC,OCM の 2 つの手法...
認識したテンプレートの箇所が最も少なかった OCM が照明変化...
いえる。
**テンプレートとする箇所について [#ta62e835]
誤認識した数の結果で、特に定点観測画像１についてすべての...
誤認識した数が少なく、結果が良かったテンプレートがある。...
トに共通する条件を考察していく。定点観測画像で結果が良好...
トの場所を確認すると窓や学校などの建物がある部分が比較的...
ている。こういった箇所は物体の境界などが多いので、画像の...
た。以下の図10 はソーベルフィルタを用いて基準画像として使...
像のエッジ成分を検出した画像である。このエッジ成分をテン...
均と割合をもとめた表が表 10 と表 11 である。
CENTER:#ref(考察2.png,center,80%)
CENTER:図10: 定点観測画像のエッジ成分
CENTER:表10: エッジ成分平均
CENTER:#ref(考察3.png,center,80%)
CENTER:表11: エッジ成分割合
CENTER:#ref(考察4.png,center,80%)
テンプレートごとのエッジ成分の平均と割合がそれぞれ Sd の...
数について相関があるか調べた表が表 12 と表 13 である。
CENTER:表12 Sdの平均との相関係数 表13 誤認識した...
CENTER:#ref(考察5.png,center,80%)
この表から Sd の平均とエッジ成分の平均にやや正の相関があ...
関がややあるのでエッジ平均が高くなると誤認識した数が減少...
*まとめ [#w64c0ac7]
自律走行ロボットが画像を用いて自己位置推定を行う場合、照...
マッチング手法が必要となる。しかし、様々なマッチング手法...
法が照明変化に堅牢なのかを評価する手法が定まっていない。...
手法が照明変化に堅牢であるかどうか評価するための手法を提...
まず、定点観測画像を使用するので定点観測画像を用いるとき...
た。その次にテンプレートマッチングを行った時のスコアは理...
のが望ましいことに注目し、定点観測画像を用いた評価手法を...
法は定点観測画像列を用いて正しい位置のマッチングスコアと...
アの差を統計し、どのような分布になるかを比較して照明変化...
評価する。このスコアの差が大きければ照明変化に堅牢である...
の差が小さければ照明変化に弱いと評価する手法である。
この評価手法が正しくテンプレートマッチングの手法を評価で...
確認するために４つの手法 SSD,ZNCC,ISC,OCM を使用した。こ...
グ手法は手法の特徴から SSD が一番照明変化に弱く、3 つの手...
くなるはずである。提案手法により評価する実験を行った結果 ...
変化に堅牢であった。また、ZNCC,ISC,OCM の 3 手法の中でも...
優劣を確認することができた。したがって提案手法を用いてテ...
ングの手法が照明変化に堅牢であるかどうか正当な評価をする...
また、実験結果よりテンプレートとして選ぶ場所の基準を見つ...
のエッジ成分を求め、テンプレートごとのエッジ成分の平均が...
均の高い箇所、また誤認識した数が少ない箇所との間にやや相...
認した。このことからエッジ成分の平均が高くなるようなテン...
とで照明変化に堅牢になることを確認した。
今後の課題としては今回の実験では定点観測画像列を 2 種類用...
たが、晴れの日や日陰を撮影した定点観測画像以外にも、曇り...
いった様々な定点観測画像を用いて実験を行う必要がある。ま...
は主に照明変化に重点を置いた手法であり、実際の自律走行ロ...
明変化のほかに画像のずれなどが原因で認識できなくなること...
ズレを評価することができないので今後、マッチング手法がズ...
どうか評価する手法を検討する必要がある。
*参考文献 [#a177b8d6]
[1]杉浦藤虎、佐藤竜平、関雅人、室谷英彰、安藤浩哉、塚本武...
[2]村瀬一朗, 金子俊一, 五十嵐悟, “増分符号相関法による画...
[3]F. Ullah, S. Kaneko, and S. Igarashi, “Object Search U...
終了行:
[[太田研 公開用Wiki]]
*定点観測画像を用いた風景照合手法の照明変化に対する堅牢性...
#contents
*はじめに [#pd084368]
屋内外を自律的に走行するロボットにおいては、環境の情報か...
推定することが必要である。その方法として、LiDAR により周...
報を測定して照合する方法や、人工衛星からの信号により位置...
(GPS) などが利用されている。しかし LiDAR は高価であるため...
トに搭載する際に大きな負担となる。また、公園のグラウンド...
はうまく測定することができない。GNSS は遮蔽物や近くに高い...
ると使用できないなどそれぞれに問題がある.
これらに対してカメラを使用して風景の画像によって位置を特...
る [1]。予めロボットが走行するルートを撮影した画像群とロ...
ている画像との照合を行い、自己位置推定する手法である。こ...
部の風景から自分がどこにいるのかわかるようにロボットにも...
いる手法である。この手法は安価なカメラによって実現できる...
りの日、日陰や日なたなど照明条件の変化に影響を受けやすい...
そこで、照明変化に堅牢な画像照合手法 (マッチング手法) で...
かし、様々なマッチング手法がある中で照明変化に堅牢かどう...
が定まっていない.
そこで本論文では、図 1 に示すような同一風景を長時間にわた...
像群 (定点観測画像) を用いて、照明変化に堅牢な画像照合手...
価法を考案した。
CENTER:#ref(Fixed_point_image.png,center,60%)
CENTER:図1: 定点観測画像の例
*照明変化に対する堅牢性評価手法 [#n6b375bf]
**定点観測画像を用いる利点 [#f17d6220]
ロボットが自己位置推定をするときに予め撮影したルートの画...
たルートの画像（入力画像) でマッチングを行う。このとき画...
トとしてマッチングする場合、全く同じ位置から撮影した入力...
いが、撮影位置がズレてしまった時にマッチングできずに自己...
ができない場合がある。よって画像の撮影位置のズレなどを軽...
め撮影したルートの画像をたくさんの小領域に分割しそれぞれ...
する。そのテンプレートを使用して入力画像とテンプレートマ...
とによって撮影位置がずれていてもマッチングでき、自己位置...
できる。画像を用いて自己位置推定する場合もう一つ問題があ...
ルート画像と入力画像で天候などが違った場合に照明変化が大...
ングをする可能性がある。そのため照明変化に強いマッチング...
そこで図 1 のような定点観測画像を使用してマッチング手法が...
あるかを評価する。
定点観測画像とはカメラを固定し同一風景を長時間撮影した画...
て朝から夕方など照明が変化した画像セットになり、照明変化...
て同じになる。したがって定点観測画像の 1 枚から切り出した...
のすべての画像で同じ位置にマッチングするため、定点観測画...
法が照明変化に堅牢であるかどうかを評価するのに都合がいい...
えば、定点観測画像の 1 枚をロボットが予め撮影したルート画...
とする。そうした場合、他の時刻の画像はロボットが別の時刻...
像となる。基準の画像で作成したテンプレートを使用して入力...
トマッチングを行った時すべての場合で正しくマッチングしな...
の時、マッチングスコアの分布を考えると正しくマッチした時...
の図 2 である。
CENTER:#ref(matching_graph1.png,center,60%)
CENTER:図2: マッチングスコアの3次元グラフ
このグラフの縦軸はマッチングスコア、平面は画像に対応して...
高い箇所がマッチしたところである。基準画像で作成したテン...
異なる入力画像をマッチングした時、常にテンプレートの位置...
い図 2 のような分布になることが理想的である。正しい位置の...
のスコアの差が小さい場合は誤認識の可能性が大きくなり、差...
識をしている。
基準画像を除く定点観測画像でマッチングを行った時、すべて...
な分布になれば照明変化に堅牢なマッチング手法であるといえ...
案手法では基準画像を除く定点観測画像すべてのマッチングス...
ような分布であるかを検証し、照明変化に対して堅牢かどうか...
**提案手法 [#y84e6516]
1. 定点観測画像から基準画像を選び、基準画像からテンプレー...
2. 作成したテンプレートを使用して基準画像以外の画像とマッ...
テンプレートを作成した位置のスコアを Max、それ以外のスコ...
る。そしてそれらの差 Max−S の分布を求める~
3. 2 の操作を基準画像を除いたすべての時刻で行い、Max−S の...
Sd とする。Sd の分布の平均、標準偏差、誤認識した数を用い...
それぞれの手順ごとに説明を行う。
手順 1 では定点観測画像の特定の 1 枚 (基準画像と呼ぶ) か...
では 80 × 80 画素) の領域をテンプレート T(t, i, j) として...
CENTER:#ref(tmp.png,center,30%)
CENTER:図3: テンプレートの設定
手順 2 では基準画像から作成したテンプレート T(t0, i0, j0)...
点観測画像の別の時刻の画像とのテンプレートマッチングを行...
プレートと同じ位置での照合スコアを Max、それ以外の位置で...
く。基準画像を t0、異なる時刻の画像 t として Max を求める...
る。
CENTER:#ref(1式.png,center,80%)
次に S を画像 t 内で、求める式の条件は以下である。
CENTER:#ref(2式.png,center,80%)
Max を求める際にテンプレートを作成した位置から誤差 ±a の...
るがこれはカメラが揺れたりする場合を考慮している。実験で...
る。また、テンプレートマッチングのスコアは最小値と最大値...
範囲に正規化する。よってマッチングを画像全体で行った時に...
的な分布になっていれば Max は 1、S は 0 に近い値になるは...
布 1 付近に多く分布する。逆に理想的なマッチングができなか...
分布は 0 付近に多く分布する
手順 3 では手順 2 の操作を基準画像を除く全ての画像で行い...
を集計する。定点観測画像ごとに求めた Max−S の分布をすべて...
Sd とする。Sd の分布の 0 以上の領域が照明の変化にかかわら...
しい位置にマッチしたことを表している。0 未満の領域は誤認...
いる。Sd の分布が 1 付近に多く分布するほど定点観測画像を...
異なる位置でのマッチングスコアが綺麗に区別できているとい...
布は平均が高く、分散が小さいかつ誤認識がないのが好ましい...
より、テンプレートマッチング手法の照明変化に対する堅牢性...
*評価実験 [#zab1486c]
**実験で評価する手法 [#wb920312]
***SSD [#b9f2b424]
SSD(Sum of Squared Difference; SSD) は画像の輝度値同士の...
値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。
***ZNCC [#s97f2382]
ZNCC(Zero-mean Normalized Cross-Correlation; ZNCC) ではテ...
の画素値と参照画像の画素値からそれぞれ平均を減算し、その...
している。本実験では全画素で重みづけをして類似度を求めた...
値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。
***ISC [#sfc58c65]
増分符号相関 (Increment Sign Correlation; ISC)[2] は画像...
向を符号化し、一致する割合がどの程度かを調べることで画像...
う手法である。本実験では全画素で重みづけをして類似度を求...
値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。
***OCM [#h7526b76]
方向符号照合 (Orientation code matching; OCM)[3] は画像の...
の方向に対し符号を付け、符号に基づき画像間の照合を行う手...
本実験では全画素で重みづけをして類似度を求めた後に、類似...
値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。
**実験方法 [#m2338b38]
実験に用いた定点観測画像を図 4、図 5 に示す。時間は 9:00 ...
分間隔に撮影したものであり、全部で 53 枚である。サイズは...
である。
CENTER:#ref(Fixed_point_image.png,center,60%)
CENTER:図4: 定点観測画像1
定点観測画像 1 は晴天の日に４階の研究室から屋外を映したも...
として空や山など自然の風景が含まれている。また、壁などを...
から 17 時 50 分の画像まで刻々と照明が変化していることが...
CENTER:#ref(fixed_point_image2.png,center,30%)
CENTER:図5: 定点観測画像1
定点観測画像 2 は大学構内で撮影した画像群である。この定点...
一日通して日陰の場所が多く、そして建造物の壁が大半を占め...
して照明変化がそれほどない定点観測画像であるが図 5 の右端...
時 50 分の画像は非常に暗い画像となっている。
CENTER:#ref(定点観測画像分割.png,center,60%)
CENTER:図6 テンプレートの分割(定点観測画像1:13時) ...
定点観測画像の時刻 13:00 の画像を基準画像とした。そして図...
**実験結果 [#g78b2a25]
***ヒストグラム [#l28a53b7]
以下の図8 と図9 は Sd のヒストグラムを表した図である。y ...
いるのは基準画像を分割して作成したテンプレートの位置に対...
所のテンプレートを使って実験した結果の Sd のヒストグラム...
囲は 0 ∼ 1 に正規化してあるので、最も理想的なスコアの分布...
布する。0 以下に分布しているものは誤認識してしまった箇所...
CENTER:#ref(ヒストグラム1.png,center,80%)
CENTER:図8: 定点観測画像1のヒストグラム（基準画像13時)
図 (8a) のヒストグラムをみると、すべての手法で 0 以下の分...
る。特に SSD は誤認識を非常に多くしている。これは図 6 を...
めである。ISC や OCM は誤認識の数が少なく、マッチングの精...
かる。他のテンプレートのヒストグラムは同じような形となっ...
い値が多く分布しており、正しい位置と異なる位置でのスコア...
が確認できる。また、ZNCC は 0 以上の値も多いが分布してい...
り小さい値も多く分布している。ISC と OCM は正の部分に山を...
強い特性を示している、より大きい値に分布しているのは OCM ...
CENTER:#ref(ヒストグラム2.png,center,80%)
CENTER:図9: 定点観測画像2のヒストグラム(基準画像13時)
定点観測画像 2 のヒストグラムでは 4 つの手法すべてで 0 以...
し、良好な結果となったがより良い特性を示しているのは ISC ...
の中でも良好な結果は OCM となった。この結果から照明変化に...
トマッチングの手法は OCM であると考えられる。
***平均と標準偏差 [#s5cc8c8c]
は適当なテンプレートを選んで Sd のヒストグラムを表したが...
数値がどのようになっているのか、Sd の平均をすべてのテンプ...
た。以下の表は 6 行 8 列に分かれているが、これはテンプレ...
た位置に対応している。表 1 と表 2 は定点観測画像 1 と定点...
画像を基準画像として実験した時の Sd の平均である。平均が...
堅牢であるといえる。
CENTER:表1: 定点観測画像1のSdの平均(基準画像13時)
CENTER:#ref(Sdave.png,center,100%)
SSD については 1 行目で平均が負の値となる箇所があった。こ...
の画像を確認すると空であり、ヒストグラムの結果で述べたよ...
認識を多くしていることがわかる。ZNCC は SSD よりは値は高...
と比較すると低いという結果になった。ISC、OCM においては、...
値が高く、また SSD や ZNCC で負の値になっていたテンプレー...
ンプレートと比較すると値は低いが良好な結果となり、すべて...
良好な結果となった。ISC と OCM の中でも、OCM が特に良好な...
変化に強い特性を示した。
CENTER:表2: 定点観測画像2のSdの平均(基準画像13時)
CENTER:#ref(Sdave2.png,center,100%)
定点観測画像 2 は定点観測画像 1 と比較して日陰の部分が多...
あまり照明が変化していないため、定点観測画像 1 に対してす...
な結果となった。また、定点観測画像 1 と同様に SSD < ZNCC ...
という順で良好な結果になった。
Sd の平均が高い場合でも結果にばらつきがあれば、照明変化に...
まったということである。したがって、Sd の標準偏差を調べる...
化の影響による結果のばらつきがどれほど含まれているかを確...
の表 3 と表 4 に結果をまとめた。
CENTER:表3: 定点観測画像1のSdの標準偏差(基準画像13時)
CENTER:#ref(Sdstdev.png,center,100%)
定点観測画像１の結果では SSD、ZNCC は ISC、
OCM と比較して、標準偏差が大きく、照明変化による影響を受...
ことがわかる。ISC と OCM については標準偏差が小さく、照明...
軽減されていることがわかる。ISC と OCM を比較すると OCM ...
結果になった。
CENTER:表4: 定点観測画像2のSdの標準偏差(基準画像13時)
CENTER:#ref(Sdstdev2.png,center,100%)
定点観測画像 2 の結果では、Sd の平均の結果と同じように定...
測画像 1 の結果よりも良好な結果となった。
今までの結果はテンプレートごとに Sd の平均や標準偏差をま...
た。表 5 と表 6 はテンプレートごとではなくすべてのテンプ...
計した平均と標準偏差を、4 つの手法ごとにまとめた表である。
CENTER:表5 定点観測画像1(基準画像13時) 表6 定点観...
CENTER:#ref(全テンプレート平均.png,center,80%)
定点観測画像 1 を使用した場合と、定点観測画像 2 を使用し...
画像 2 を使用した結果の方がわずかに良好な結果となった。SS...
すべてを比較すると 2 種類の定点観測画像で同じ傾向の結果が...
OCM は平均が高く、標準偏差が低いので Sd が値の高い場所に...
いる。逆に ZNCC と SSD は Sd が値の低い場所に広く分布しス...
ないことがわかる。よって平均や標準偏差の結果を考慮すると...
響を受けていないのは OCM という結果になった。
***誤認識した数 [#u306d27d]
平均や標準偏差の結果が良好でも誤認識をしていた場合は照明...
いるので誤認識した数を調べた。誤認識とは Sd の分布で負の...
り、正しい位置のスコアが異なる箇所のスコアよりも小さくな...
ある。テンプレートごとに誤認識した数を表7 と表8 にまとめ...
表のマスの最大値は画像の縦×横（それぞれテンプレートの大き...
定点観測画像の枚数 (53 枚) で 11922933 である。
CENTER:表7: 定点観測画像1の誤認識した数(基準画像13時)
CENTER:#ref(誤認識1.png,center,80%)
定点観測画像 1 については ISC や OCM の結果は他の 2 つの...
の箇所が多く、誤認識の箇所が少なかった。ISCやOCMでも、1行...
数が多く、空の部分はマッチングしにくいことがわかる。わず...
の方が誤認識した数は少なかった。
CENTER:表8: 定点観測画像2の誤認識した数(基準画像13時)
CENTER:#ref(誤認識2.png,center,80%)
定点観測画像 2 については SSD と ZNCC も数か所誤認識して...
測画像 1 と比較してすべての手法で良好な結果となった。SSD ...
している箇所を図7で確認すると 1 行 1 列と 1 行 2 列は空や...
ない壁しかないため誤認識してしまった。また、2 行 8 列のテ...
を見ると暗くなり電気をつけている部屋であるため、ほかの時...
*考察 [#yc6b8f87]
**平均、標準偏差、誤認識した数の結果について [#w63951da]
前章では定点観測画像１と定点観測画像２について、それぞれ ...
均、標準偏差、誤認識した数などを求めた。2 種類の定点観測...
を行ったそれぞれの結果について定点観測画像の照明変化の含...
考察する。定点観測画像 1 では風景や壁などに日光が当たり、...
までの画像で刻々と照明が変化していく様子が観察できる。し...
像 2 では大学構内の日陰の部分などを観察した画像であり、照...
まれいない。17 時 50 分ちょうどの画像が比較的暗くなってい...
だけである。この照明変化の度合いが異なる 2 つの定点観測画...
結果、平均や標準偏差の結果にはあまり違いが表れなかったが...
プレートの箇所に違いがあった。その変化を表9 にまとめた。
CENTER:表9: 誤認識したテンプレートの数の変化
CENTER:#ref(考察1.png,center,80%)
すべての手法で定点観測画像 2 よりも定点観測画像 1 で実験...
識したテンプレートの箇所は増加した。つまり、照明変化があ...
い定点観測画像 2 では誤認識しなかったが、照明変化が強い定...
誤認識してしまったということである。増加の具合から特に SS...
変化が多いと誤認識しやすく、それに対し ISC,OCM は比較的影...
認識しにくいということが確認できる。ISC,OCM の 2 つの手法...
認識したテンプレートの箇所が最も少なかった OCM が照明変化...
いえる。
**テンプレートとする箇所について [#ta62e835]
誤認識した数の結果で、特に定点観測画像１についてすべての...
誤認識した数が少なく、結果が良かったテンプレートがある。...
トに共通する条件を考察していく。定点観測画像で結果が良好...
トの場所を確認すると窓や学校などの建物がある部分が比較的...
ている。こういった箇所は物体の境界などが多いので、画像の...
た。以下の図10 はソーベルフィルタを用いて基準画像として使...
像のエッジ成分を検出した画像である。このエッジ成分をテン...
均と割合をもとめた表が表 10 と表 11 である。
CENTER:#ref(考察2.png,center,80%)
CENTER:図10: 定点観測画像のエッジ成分
CENTER:表10: エッジ成分平均
CENTER:#ref(考察3.png,center,80%)
CENTER:表11: エッジ成分割合
CENTER:#ref(考察4.png,center,80%)
テンプレートごとのエッジ成分の平均と割合がそれぞれ Sd の...
数について相関があるか調べた表が表 12 と表 13 である。
CENTER:表12 Sdの平均との相関係数 表13 誤認識した...
CENTER:#ref(考察5.png,center,80%)
この表から Sd の平均とエッジ成分の平均にやや正の相関があ...
関がややあるのでエッジ平均が高くなると誤認識した数が減少...
*まとめ [#w64c0ac7]
自律走行ロボットが画像を用いて自己位置推定を行う場合、照...
マッチング手法が必要となる。しかし、様々なマッチング手法...
法が照明変化に堅牢なのかを評価する手法が定まっていない。...
手法が照明変化に堅牢であるかどうか評価するための手法を提...
まず、定点観測画像を使用するので定点観測画像を用いるとき...
た。その次にテンプレートマッチングを行った時のスコアは理...
のが望ましいことに注目し、定点観測画像を用いた評価手法を...
法は定点観測画像列を用いて正しい位置のマッチングスコアと...
アの差を統計し、どのような分布になるかを比較して照明変化...
評価する。このスコアの差が大きければ照明変化に堅牢である...
の差が小さければ照明変化に弱いと評価する手法である。
この評価手法が正しくテンプレートマッチングの手法を評価で...
確認するために４つの手法 SSD,ZNCC,ISC,OCM を使用した。こ...
グ手法は手法の特徴から SSD が一番照明変化に弱く、3 つの手...
くなるはずである。提案手法により評価する実験を行った結果 ...
変化に堅牢であった。また、ZNCC,ISC,OCM の 3 手法の中でも...
優劣を確認することができた。したがって提案手法を用いてテ...
ングの手法が照明変化に堅牢であるかどうか正当な評価をする...
また、実験結果よりテンプレートとして選ぶ場所の基準を見つ...
のエッジ成分を求め、テンプレートごとのエッジ成分の平均が...
均の高い箇所、また誤認識した数が少ない箇所との間にやや相...
認した。このことからエッジ成分の平均が高くなるようなテン...
とで照明変化に堅牢になることを確認した。
今後の課題としては今回の実験では定点観測画像列を 2 種類用...
たが、晴れの日や日陰を撮影した定点観測画像以外にも、曇り...
いった様々な定点観測画像を用いて実験を行う必要がある。ま...
は主に照明変化に重点を置いた手法であり、実際の自律走行ロ...
明変化のほかに画像のずれなどが原因で認識できなくなること...
ズレを評価することができないので今後、マッチング手法がズ...
どうか評価する手法を検討する必要がある。
*参考文献 [#a177b8d6]
[1]杉浦藤虎、佐藤竜平、関雅人、室谷英彰、安藤浩哉、塚本武...
[2]村瀬一朗, 金子俊一, 五十嵐悟, “増分符号相関法による画...
[3]F. Ullah, S. Kaneko, and S. Igarashi, “Object Search U...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
