![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
[[太田研 公開用Wiki]] *定点観測画像を用いた風景照合手法の照明変化に対する堅牢性評価 [#yc036c3f] #contents *はじめに [#pd084368] 屋内外を自律的に走行するロボットにおいては、環境の情報から自分の位置を 推定することが必要である。その方法として、LiDAR により周囲の空間の形状情 報を測定して照合する方法や、人工衛星からの信号により位置を測定する GNSS (GPS) などが利用されている。しかし LiDAR は高価であるために、多くのロボッ トに搭載する際に大きな負担となる。また、公園のグラウンドなど開けた場所で はうまく測定することができない。GNSS は遮蔽物や近くに高い建造物などがあ ると使用できないなどそれぞれに問題がある. これらに対してカメラを使用して風景の画像によって位置を特定する手法があ る [1]。予めロボットが走行するルートを撮影した画像群とロボットが現在撮影し ている画像との照合を行い、自己位置推定する手法である。これは人間が普段、外 部の風景から自分がどこにいるのかわかるようにロボットにも同じことをさせて いる手法である。この手法は安価なカメラによって実現できるが、晴れの日や曇 りの日、日陰や日なたなど照明条件の変化に影響を受けやすいという問題がある。 そこで、照明変化に堅牢な画像照合手法 (マッチング手法) で行う必要がある。し かし、様々なマッチング手法がある中で照明変化に堅牢かどうかを比較する手法 が定まっていない. そこで本論文では、図 1 に示すような同一風景を長時間にわたって撮影した画 像群 (定点観測画像) を用いて、照明変化に堅牢な画像照合手法を見出すための評 価法を考案した。 CENTER:#ref(Fixed_point_image.png,center,60%) CENTER:図1: 定点観測画像の例 *照明変化に対する堅牢性評価手法 [#n6b375bf] **定点観測画像を用いる利点 [#f17d6220] ロボットが自己位置推定をするときに予め撮影したルートの画像と現在撮影し たルートの画像（入力画像) でマッチングを行う。このとき画像全体をテンプレー トとしてマッチングする場合、全く同じ位置から撮影した入力画像ならば問題な いが、撮影位置がズレてしまった時にマッチングできずに自己位置推定すること ができない場合がある。よって画像の撮影位置のズレなどを軽減するために、予 め撮影したルートの画像をたくさんの小領域に分割しそれぞれをテンプレートと する。そのテンプレートを使用して入力画像とテンプレートマッチングを行うこ とによって撮影位置がずれていてもマッチングでき、自己位置推定をすることが できる。画像を用いて自己位置推定する場合もう一つ問題があり、予め撮影した ルート画像と入力画像で天候などが違った場合に照明変化が大きく、誤ったマッチ ングをする可能性がある。そのため照明変化に強いマッチング手法が必要になる。 そこで図 1 のような定点観測画像を使用してマッチング手法が照明変化に堅牢で あるかを評価する。 定点観測画像とはカメラを固定し同一風景を長時間撮影した画像である。よっ て朝から夕方など照明が変化した画像セットになり、照明変化以外の条件はすべ て同じになる。したがって定点観測画像の 1 枚から切り出したテンプレートはほか のすべての画像で同じ位置にマッチングするため、定点観測画像はマッチング手 法が照明変化に堅牢であるかどうかを評価するのに都合がいい画像群である。例 えば、定点観測画像の 1 枚をロボットが予め撮影したルート画像として基準の画像 とする。そうした場合、他の時刻の画像はロボットが別の時刻に撮影した入力画 像となる。基準の画像で作成したテンプレートを使用して入力画像とテンプレー トマッチングを行った時すべての場合で正しくマッチングしなければならない。こ の時、マッチングスコアの分布を考えると正しくマッチした時その箇所のスコアのみが突出していることが理想的である。そのようなマッチングのスコアは以下 の図 2 である。 CENTER:#ref(matching_graph1.png,center,60%) CENTER:図2: マッチングスコアの3次元グラフ このグラフの縦軸はマッチングスコア、平面は画像に対応している。スコアが 高い箇所がマッチしたところである。基準画像で作成したテンプレートと照明が 異なる入力画像をマッチングした時、常にテンプレートの位置のスコアのみが高 い図 2 のような分布になることが理想的である。正しい位置のスコアとそれ以外 のスコアの差が小さい場合は誤認識の可能性が大きくなり、差が負の場合は誤認 識をしている。 基準画像を除く定点観測画像でマッチングを行った時、すべての画像で理想的 な分布になれば照明変化に堅牢なマッチング手法であるといえる。したがって提 案手法では基準画像を除く定点観測画像すべてのマッチングスコアの分布がどの ような分布であるかを検証し、照明変化に対して堅牢かどうか評価する。 **提案手法 [#y84e6516] 1. 定点観測画像から基準画像を選び、基準画像からテンプレートを作成する~ 2. 作成したテンプレートを使用して基準画像以外の画像とマッチングを行い、 テンプレートを作成した位置のスコアを Max、それ以外のスコアを S とす る。そしてそれらの差 Max−S の分布を求める~ 3. 2 の操作を基準画像を除いたすべての時刻で行い、Max−S の分布を集計し、 Sd とする。Sd の分布の平均、標準偏差、誤認識した数を用いて評価する~ それぞれの手順ごとに説明を行う。 手順 1 では定点観測画像の特定の 1 枚 (基準画像と呼ぶ) から一定サイズ (実験 では 80 × 80 画素) の領域をテンプレート T(t, i, j) として抽出する (図 3)。 CENTER:#ref(tmp.png,center,30%) CENTER:図3: テンプレートの設定 手順 2 では基準画像から作成したテンプレート T(t0, i0, j0) と基準画像を除く定 点観測画像の別の時刻の画像とのテンプレートマッチングを行う。この時、テン プレートと同じ位置での照合スコアを Max、それ以外の位置でのスコアを S とお く。基準画像を t0、異なる時刻の画像 t として Max を求める式の条件は以下であ る。 CENTER:#ref(1式.png,center,80%) 次に S を画像 t 内で、求める式の条件は以下である。 CENTER:#ref(2式.png,center,80%) Max を求める際にテンプレートを作成した位置から誤差 ±a の範囲を設定してい るがこれはカメラが揺れたりする場合を考慮している。実験では 1 画素としてい る。また、テンプレートマッチングのスコアは最小値と最大値を求めて 0 ∼ 1 の 範囲に正規化する。よってマッチングを画像全体で行った時に図 2 のような理想 的な分布になっていれば Max は 1、S は 0 に近い値になるはずなので Max-S の分 布 1 付近に多く分布する。逆に理想的なマッチングができなかった場合 Max-S の 分布は 0 付近に多く分布する 手順 3 では手順 2 の操作を基準画像を除く全ての画像で行い、それぞれ Max−S を集計する。定点観測画像ごとに求めた Max−S の分布をすべて合わせたものを Sd とする。Sd の分布の 0 以上の領域が照明の変化にかかわらずテンプレートが正 しい位置にマッチしたことを表している。0 未満の領域は誤認識したことを表して いる。Sd の分布が 1 付近に多く分布するほど定点観測画像を通して正しい位置と 異なる位置でのマッチングスコアが綺麗に区別できているということである。分 布は平均が高く、分散が小さいかつ誤認識がないのが好ましい。この Sd の分布に より、テンプレートマッチング手法の照明変化に対する堅牢性を評価する。 *評価実験 [#zab1486c] **実験で評価する手法 [#wb920312] ***SSD [#b9f2b424] SSD(Sum of Squared Difference; SSD) は画像の輝度値同士の二乗差を計算して相違度を求める。本実験では全画素で重みづけをして類似度を求めた後に、類似度の最大値と最小 値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。 ***ZNCC [#s97f2382] ZNCC(Zero-mean Normalized Cross-Correlation; ZNCC) ではテンプレート画像 の画素値と参照画像の画素値からそれぞれ平均を減算し、その相互相関を類似度と している。本実験では全画素で重みづけをして類似度を求めた後に、類似度の最大値と最小 値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。 ***ISC [#sfc58c65] 増分符号相関 (Increment Sign Correlation; ISC)[2] は画像間の明るさの変化傾 向を符号化し、一致する割合がどの程度かを調べることで画像のマッチングを行 う手法である。本実験では全画素で重みづけをして類似度を求めた後に、類似度の最大値と最小 値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。 ***OCM [#h7526b76] 方向符号照合 (Orientation code matching; OCM)[3] は画像の各画素の輝度勾配 の方向に対し符号を付け、符号に基づき画像間の照合を行う手法である. 本実験では全画素で重みづけをして類似度を求めた後に、類似度の最大値と最小 値を求めて類似度の範囲を 0 ∼ 1 の範囲に正規化している。 **実験方法 [#m2338b38] 実験に用いた定点観測画像を図 4、図 5 に示す。時間は 9:00 から 17:50 まで、10 分間隔に撮影したものであり、全部で 53 枚である。サイズは縦 480 ×横 640 画素 である。 CENTER:#ref(Fixed_point_image.png,center,60%) CENTER:図4: 定点観測画像1 定点観測画像 1 は晴天の日に４階の研究室から屋外を映したものである。特徴 として空や山など自然の風景が含まれている。また、壁などをみると 9 時の画像 から 17 時 50 分の画像まで刻々と照明が変化していることがわかる画像群である。 CENTER:#ref(fixed_point_image2.png,center,30%) CENTER:図5: 定点観測画像1 定点観測画像 2 は大学構内で撮影した画像群である。この定点観測画像 2 では 一日通して日陰の場所が多く、そして建造物の壁が大半を占めている。一日を通 して照明変化がそれほどない定点観測画像であるが図 5 の右端の画像のように 17 時 50 分の画像は非常に暗い画像となっている。 CENTER:#ref(定点観測画像分割.png,center,60%) CENTER:図6 テンプレートの分割(定点観測画像1:13時) 図7 テンプレートの分割(定点観測画像2:13時) 定点観測画像の時刻 13:00 の画像を基準画像とした。そして図6、図7 のように 6 × 8 の区画に分け (区画のサイズは 80 × 80 画素)、48 個のテンプレートを作成する。テンプレートを一つずつ選び、すべてのテンプレートで実験を行った。 **実験結果 [#g78b2a25] ***ヒストグラム [#l28a53b7] 以下の図8 と図9 は Sd のヒストグラムを表した図である。y 行 x 列となって いるのは基準画像を分割して作成したテンプレートの位置に対応していてその箇 所のテンプレートを使って実験した結果の Sd のヒストグラムである。スコアの範 囲は 0 ∼ 1 に正規化してあるので、最も理想的なスコアの分布は 1 付近に多く分 布する。0 以下に分布しているものは誤認識してしまった箇所である。 CENTER:#ref(ヒストグラム1.png,center,80%) CENTER:図8: 定点観測画像1のヒストグラム（基準画像13時) 図 (8a) のヒストグラムをみると、すべての手法で 0 以下の分布が多く確認でき る。特に SSD は誤認識を非常に多くしている。これは図 6 を見ると空であり、特徴的なものが何もないので単純な画素の比較だけではマッチングできなかったた めである。ISC や OCM は誤認識の数が少なく、マッチングの精度が高いことがわ かる。他のテンプレートのヒストグラムは同じような形となった。SSD は 0 に近 い値が多く分布しており、正しい位置と異なる位置でのスコアの差が少ないこと が確認できる。また、ZNCC は 0 以上の値も多いが分布している範囲が大きく 0 よ り小さい値も多く分布している。ISC と OCM は正の部分に山を持ち、照明変化に 強い特性を示している、より大きい値に分布しているのは OCM である。 CENTER:#ref(ヒストグラム2.png,center,80%) CENTER:図9: 定点観測画像2のヒストグラム(基準画像13時) 定点観測画像 2 のヒストグラムでは 4 つの手法すべてで 0 以上の値が多く分布 し、良好な結果となったがより良い特性を示しているのは ISC と OCM である。そ の中でも良好な結果は OCM となった。この結果から照明変化に堅牢なテンプレー トマッチングの手法は OCM であると考えられる。 ***平均と標準偏差 [#s5cc8c8c] は適当なテンプレートを選んで Sd のヒストグラムを表したが、実際の 数値がどのようになっているのか、Sd の平均をすべてのテンプレートごとに調べ た。以下の表は 6 行 8 列に分かれているが、これはテンプレートとして切り出し た位置に対応している。表 1 と表 2 は定点観測画像 1 と定点観測画像２の 13 時の 画像を基準画像として実験した時の Sd の平均である。平均が高いほど照明変化に 堅牢であるといえる。 CENTER:表1: 定点観測画像1のSdの平均(基準画像13時) CENTER:#ref(Sdave.png,center,100%) SSD については 1 行目で平均が負の値となる箇所があった。ここのテンプレート の画像を確認すると空であり、ヒストグラムの結果で述べたように多くの時間で誤 認識を多くしていることがわかる。ZNCC は SSD よりは値は高いが ISC や OCM と比較すると低いという結果になった。ISC、OCM においては、すべての箇所で 値が高く、また SSD や ZNCC で負の値になっていたテンプレートも他の箇所のテ ンプレートと比較すると値は低いが良好な結果となり、すべてのテンプレートで 良好な結果となった。ISC と OCM の中でも、OCM が特に良好な結果となり照明 変化に強い特性を示した。 CENTER:表2: 定点観測画像2のSdの平均(基準画像13時) CENTER:#ref(Sdave2.png,center,100%) 定点観測画像 2 は定点観測画像 1 と比較して日陰の部分が多く、時間の経過で あまり照明が変化していないため、定点観測画像 1 に対してすべての手法で良好 な結果となった。また、定点観測画像 1 と同様に SSD < ZNCC < ISC < OCM という順で良好な結果になった。 Sd の平均が高い場合でも結果にばらつきがあれば、照明変化に影響を受けてし まったということである。したがって、Sd の標準偏差を調べることにより照明変 化の影響による結果のばらつきがどれほど含まれているかを確認した。次ページ の表 3 と表 4 に結果をまとめた。 CENTER:表3: 定点観測画像1のSdの標準偏差(基準画像13時) CENTER:#ref(Sdstdev.png,center,100%) 定点観測画像１の結果では SSD、ZNCC は ISC、 OCM と比較して、標準偏差が大きく、照明変化による影響を受けてしまっている ことがわかる。ISC と OCM については標準偏差が小さく、照明変化による影響が 軽減されていることがわかる。ISC と OCM を比較すると OCM の方がより良好な 結果になった。 CENTER:表4: 定点観測画像2のSdの標準偏差(基準画像13時) CENTER:#ref(Sdstdev2.png,center,100%) 定点観測画像 2 の結果では、Sd の平均の結果と同じように定点観 測画像 1 の結果よりも良好な結果となった。 今までの結果はテンプレートごとに Sd の平均や標準偏差をまとめた結果であっ た。表 5 と表 6 はテンプレートごとではなくすべてのテンプレートの結果 Sd を集 計した平均と標準偏差を、4 つの手法ごとにまとめた表である。 CENTER:表5 定点観測画像1(基準画像13時) 表6 定点観測画像2(基準画像13時) CENTER:#ref(全テンプレート平均.png,center,80%) 定点観測画像 1 を使用した場合と、定点観測画像 2 を使用した場合では定点観測 画像 2 を使用した結果の方がわずかに良好な結果となった。SSD,ZNCC,ISC,OCM すべてを比較すると 2 種類の定点観測画像で同じ傾向の結果が得られた。ISC と OCM は平均が高く、標準偏差が低いので Sd が値の高い場所に安定して分布して いる。逆に ZNCC と SSD は Sd が値の低い場所に広く分布しスコアが安定してい ないことがわかる。よって平均や標準偏差の結果を考慮すると最も照明変化に影 響を受けていないのは OCM という結果になった。 ***誤認識した数 [#u306d27d] 平均や標準偏差の結果が良好でも誤認識をしていた場合は照明変化が影響して いるので誤認識した数を調べた。誤認識とは Sd の分布で負の値になった数、つま り、正しい位置のスコアが異なる箇所のスコアよりも小さくなってしまった数で ある。テンプレートごとに誤認識した数を表7 と表8 にまとめた。 表のマスの最大値は画像の縦×横（それぞれテンプレートの大きさを引く）× 定点観測画像の枚数 (53 枚) で 11922933 である。 CENTER:表7: 定点観測画像1の誤認識した数(基準画像13時) CENTER:#ref(誤認識1.png,center,80%) 定点観測画像 1 については ISC や OCM の結果は他の 2 つの手法と比較して、0 の箇所が多く、誤認識の箇所が少なかった。ISCやOCMでも、1行目の誤認識した 数が多く、空の部分はマッチングしにくいことがわかる。わずかではあるが OCM の方が誤認識した数は少なかった。 CENTER:表8: 定点観測画像2の誤認識した数(基準画像13時) CENTER:#ref(誤認識2.png,center,80%) 定点観測画像 2 については SSD と ZNCC も数か所誤認識しているだけで定点観 測画像 1 と比較してすべての手法で良好な結果となった。SSD と ZNCC が誤認識 している箇所を図7で確認すると 1 行 1 列と 1 行 2 列は空や変化の ない壁しかないため誤認識してしまった。また、2 行 8 列のテンプレートは図5の右端の画像 を見ると暗くなり電気をつけている部屋であるため、ほかの時刻との照明変化の差に影響を受けてしまい、誤認識をしてしまった。他の誤認識しているテンプレート数か所についても電気などが原因で誤認識してしまった。ISC,OCM は誤認識がすべての箇所で 0 という結果になった。よって SSD や ZNCC が認識できなった空の部分や電気による照明変化などに影響を受けずマッチングできたので照明変化に強い特性を示した。平均と標準偏差での結果では最も OCM がよい手法であるという結果になったが、OCM と ISC の差はわずかであった。誤認識した数では定点観測画像 1 を用いた実験の結果で若干 OCM の方が良好な結果になった。 *考察 [#yc6b8f87] **平均、標準偏差、誤認識した数の結果について [#w63951da] 前章では定点観測画像１と定点観測画像２について、それぞれ 4 つの手法で平 均、標準偏差、誤認識した数などを求めた。2 種類の定点観測画像を使用して実験 を行ったそれぞれの結果について定点観測画像の照明変化の含まれ方の違いから 考察する。定点観測画像 1 では風景や壁などに日光が当たり、9 時から 17 時 50 分 までの画像で刻々と照明が変化していく様子が観察できる。しかし、定点観測画 像 2 では大学構内の日陰の部分などを観察した画像であり、照明変化があまり含 まれいない。17 時 50 分ちょうどの画像が比較的暗くなっていることが確認できる だけである。この照明変化の度合いが異なる 2 つの定点観測画像で実験を行った 結果、平均や標準偏差の結果にはあまり違いが表れなかったが、誤認識したテン プレートの箇所に違いがあった。その変化を表9 にまとめた。 CENTER:表9: 誤認識したテンプレートの数の変化 CENTER:#ref(考察1.png,center,80%) すべての手法で定点観測画像 2 よりも定点観測画像 1 で実験を行った方が誤認 識したテンプレートの箇所は増加した。つまり、照明変化があまり含まれていな い定点観測画像 2 では誤認識しなかったが、照明変化が強い定点観測画像 1 では 誤認識してしまったということである。増加の具合から特に SSD と ZNCC は照明 変化が多いと誤認識しやすく、それに対し ISC,OCM は比較的影響を受けにくく誤 認識しにくいということが確認できる。ISC,OCM の 2 つの手法を比較した時、誤 認識したテンプレートの箇所が最も少なかった OCM が照明変化に堅牢であると いえる。 **テンプレートとする箇所について [#ta62e835] 誤認識した数の結果で、特に定点観測画像１についてすべての手法で共通して 誤認識した数が少なく、結果が良かったテンプレートがある。これらのテンプレー トに共通する条件を考察していく。定点観測画像で結果が良好だったテンプレー トの場所を確認すると窓や学校などの建物がある部分が比較的良好な結果になっ ている。こういった箇所は物体の境界などが多いので、画像のエッジ成分を調べ た。以下の図10 はソーベルフィルタを用いて基準画像として使用した 13 時の画 像のエッジ成分を検出した画像である。このエッジ成分をテンプレートごとに平 均と割合をもとめた表が表 10 と表 11 である。 CENTER:#ref(考察2.png,center,80%) CENTER:図10: 定点観測画像のエッジ成分 CENTER:表10: エッジ成分平均 CENTER:#ref(考察3.png,center,80%) CENTER:表11: エッジ成分割合 CENTER:#ref(考察4.png,center,80%) テンプレートごとのエッジ成分の平均と割合がそれぞれ Sd の平均と誤認識した 数について相関があるか調べた表が表 12 と表 13 である。 CENTER:表12 Sdの平均との相関係数 表13 誤認識した数との相関係数 CENTER:#ref(考察5.png,center,80%) この表から Sd の平均とエッジ成分の平均にやや正の相関があることがわかるのでエッジ成分の平均が高くなれば Sd の平均も高くなることが確認できる。さらに誤認識した数でも負の相 関がややあるのでエッジ平均が高くなると誤認識した数が減少する傾向がある。特に ISC と OCM について相関係数の値が高いのでこの２つの手法を行う際はテンプレートとする箇所を選ぶ時にエッジ成分の平均が高いものを基準とするとより照明変化に強いマッチングが行える。しかし、今回比較した画像が定点観測画像１と定点観測画像 2 の 2 種類しかないので、今後定点観測画像の種類を増やし、さらに検証することでエッジの平均が高いものを選ぶ方が良いのか検討するべきである。 *まとめ [#w64c0ac7] 自律走行ロボットが画像を用いて自己位置推定を行う場合、照明変化に堅牢な マッチング手法が必要となる。しかし、様々なマッチング手法がある中でどの手 法が照明変化に堅牢なのかを評価する手法が定まっていない。よってマッチング 手法が照明変化に堅牢であるかどうか評価するための手法を提案した。 まず、定点観測画像を使用するので定点観測画像を用いるときの利点を説明し た。その次にテンプレートマッチングを行った時のスコアは理想的な分布になる のが望ましいことに注目し、定点観測画像を用いた評価手法を提案した。この手 法は定点観測画像列を用いて正しい位置のマッチングスコアと異なる場所のスコ アの差を統計し、どのような分布になるかを比較して照明変化に堅牢かどうかを 評価する。このスコアの差が大きければ照明変化に堅牢であると評価し、スコア の差が小さければ照明変化に弱いと評価する手法である。 この評価手法が正しくテンプレートマッチングの手法を評価できているのかを 確認するために４つの手法 SSD,ZNCC,ISC,OCM を使用した。これらのマッチン グ手法は手法の特徴から SSD が一番照明変化に弱く、3 つの手法が照明変化に強 くなるはずである。提案手法により評価する実験を行った結果 OCM が最も照明 変化に堅牢であった。また、ZNCC,ISC,OCM の 3 手法の中でも照明変化に対する 優劣を確認することができた。したがって提案手法を用いてテンプレートマッチ ングの手法が照明変化に堅牢であるかどうか正当な評価をすることができた。 また、実験結果よりテンプレートとして選ぶ場所の基準を見つけるために画像 のエッジ成分を求め、テンプレートごとのエッジ成分の平均が高い箇所と Sd の平 均の高い箇所、また誤認識した数が少ない箇所との間にやや相関があることを確 認した。このことからエッジ成分の平均が高くなるようなテンプレートを選ぶこ とで照明変化に堅牢になることを確認した。 今後の課題としては今回の実験では定点観測画像列を 2 種類用意し、実験を行っ たが、晴れの日や日陰を撮影した定点観測画像以外にも、曇りの日や、雨の日と いった様々な定点観測画像を用いて実験を行う必要がある。また、この評価手法 は主に照明変化に重点を置いた手法であり、実際の自律走行ロボットなどでは照 明変化のほかに画像のずれなどが原因で認識できなくなることがある。こうした ズレを評価することができないので今後、マッチング手法がズレに堅牢であるか どうか評価する手法を検討する必要がある。 *参考文献 [#a177b8d6] [1]杉浦藤虎、佐藤竜平、関雅人、室谷英彰、安藤浩哉、塚本武彦, “自立移動ロボットの自己位置推定に関する研究”, 豊田工業高等専門学校研究紀要, 44(0), pp. 23-32, 2012. [2]村瀬一朗, 金子俊一, 五十嵐悟, “増分符号相関法による画像照合”精密工学会誌 Vol.66, No.2, pp. 261-265, 2000 [3]F. Ullah, S. Kaneko, and S. Igarashi, “Object Search Using Orientation Code Matching”, Proc. of IAPR Workshop on Machine Vision Applications (MVA2000), pp. 262-266, Nov.2000, Tokyo, Japan.
