SIFT特徴量を用いた照明変化に堅牢な画像照合に関する研究
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[太田研 公開用Wiki]]
*定点観測画像を用いた風景照合手法の照明変化に対する堅牢性...
#contents
*はじめに [#pd084368]
**研究背景 [#afdac191]
ロボットの種類の一つに自律走行ロボットがある. 自律走行ロ...
ロボットに画像を利用して周囲の認識をさせるためには, ロボ...
画像と画像を照合する方法は幾つかあるが, このうち本研究で...
**研究目的 [#fcaf37d9]
屋外で自律走行ロボットを走らせるとき, 日時・天気によって...
これが学習画像の照明具合と異なる場合, 日時・天気によって...
以上より, 照明条件が変化しても安定した画像照合方法が必要...
SIFT特徴量を利用して画像照合を行うことにより, 照明変化に...
*評価対象の手法 [#qb5e13e6]
**SIFT [#d49deb73]
SIFTとは, 1999年にDavid Lowe氏が提案したもので, 画像に対...
キーポイントとは, 画像上にあるコーナー等の特徴的な点であ...
画像にDoG処理を行い, スケールやキーポイント候補点を検出す...
検出したキーポイント候補点に対してコントラスト閾値やエッ...
得られたキーポイントのオリエンテーションを計算し, キーポ...
**Bag of Visual Words(BoVW) [#k7e657d9]
BoVWはキーポイントの位置を考慮せず, 特徴量のみを用いて画...
BoVWはまず学習画像から求めた局所特徴量のある128次元空間を...
次に, 学習画像毎に局所特徴量が所属する1~kのクラスタに対し...
マッチングしたい入力画像は局所特徴量を求めた後, それが学...
この入力画像のヒストグラムを学習画像のヒストグラム全てに...
**RANSACアルゴリズムを用いた画像照合とホモグラフィを用い...
***キーポイントのマッチング [#x8772a20]
RANSACを用いた画像照合を行うために, 異なる画像同士のキー...
SIFT特徴によるキーポイントマッチングは, まず入力画像と比...
次にその特徴量を異なる画像間で比較し, 最も似た特徴量と次...
最も似た特徴量と次に似た特徴量の比を計算し, この比が本研...
これは, ノイズによって2番めに近い点が対応点であるときの誤...
***RANSACアルゴリズムを用いた画像照合 [#ja74175e]
RANSACは, 取得したデータの法則性から大きく外れたノイズと...
RANSACは, 取得したデータのうちからランダムに幾つかのデー...
これを何度も繰り返した後, 正しい法則性の候補から最もデー...
このアルゴリズムを利用して, キーポイントのマッチングで求...
RANSACアルゴリズムを利用しなかった結果と利用した結果を図1...
この2つの図より, RANSACによって間違った対応点が消えている...
CENTER:#ref(no_ransac_matching.png,center,35%)
CENTER:&size(14){図1:通常のマッチング};
CENTER:#ref(ransac_matching.png,center,35%)
CENTER:&size(14){図2:RANSACを利用したマッチング};
***ホモグラフィを用いた類似度算出法 [#y70d4611]
まず, 図2のようなRANSACを用いた画像照合を行い,
マッチングした全ての点に対してのホモグラフィ変換行列Hを計...
このとき, ホモグラフィ変換行列Hは, 以下のような式で表され...
CENTER:#ref(hom_gyoretu.png,center,50%)
CENTER:&size(14){図3:ホモグラフィ変換行列};
左の入力画像のマッチングに使用された点の座標を(xi, yi),
右の比較画像のマッチングに使用された点を(xi', yi')とし,
iが同じならばマッチングした点であるとする.
入力画像のマッチング点にホモグラフィ変換行列Hを掛けた時,
以下の式のように全てのマッチングが正しければ比較画像のそ...
CENTER:#ref(hom_gyoretu2.png,center,50%)
CENTER:&size(14){図4:ホモグラフィ変換};
しかし, 間違ったマッチングが含まれていた場合, 計算された...
比較画像のそれぞれのマッチング点と同じ座標に変換されない.
以上より, ホモグラフィ変換行列を掛けた後の入力画像のマッ...
比較画像のマッチング点の座標の距離が小さいものを正解とし,...
入力画像を正解画像に対してホモグラフィ変換したとき, 変換...
そのため, 変換の歪みを表すホモグラフィ行列の3行1列と3行2...
*実験方法 [#w8a0093f]
**データセット [#uc7af80e]
データセットとして, 日時・天気の異なる画像群を4個用意した.
この4個の画像群には, 晴れの日の画像群, 曇りの日の画像群が...
この画像群は, LiDARを利用してほぼ同じルートを走行すること...
そのため, 実際のロボットの自律走行に近い条件で実験を行う...
CENTER:#ref(kumorigazougun.png,center,35%)
CENTER:&size(14){図5:曇りの日の画像群の一つ};
CENTER:#ref(haregazougun.png,center,35%)
CENTER:&size(14){図6:晴れの日の画像群の一つ};
**照合手法の評価 [#e59b1c94]
用意したデータセットの曇り画像群の一つと晴れ画像群の一つ...
基準画像群は, ロボットが実際に走行中に撮影した画像と考え...
実験における基準画像群に対する比較画像群には, 基準画像群,...
この基準画像群の1枚に対する比較画像群の類似度を計算するこ...
同じ位置で撮影した画像同士の類似度が高くなることが望まし...
*実験結果 [#q993641b]
**Bag of Visual Wordsについての実行結果 [#kcbd7bca]
BoVWでの実験では, SIFTのコントラスト閾値やエッジ閾値はデ...
曇り入力画像群のうち, ある1地点の画像に関する類似度計算の...
晴れ入力画像群のうち, 上記と同様の地点で撮影した画像に関...
CENTER:#ref(cloud_bovw.png,center,55%)
CENTER:&size(14){図7:ある曇り入力画像に対するBoVWによる類...
CENTER:#ref(sunny_bovw.png,center,60%)
CENTER:&size(14){図8:ある晴れ入力画像に対するBoVWによる類...
このグラフの赤い線の類似度が正解画像の地点となっている.
同じ画像群を入力画像群と, 比較画像群にしたときは正解の画...
これは, 入力画像群の中から1枚を入力画像として比較画像群と...
この実験では, 正解地点の前後の画像でもロボットの位置から...
全ての入力画像に対して類似度算出を行い, 正解だった入力画...
実験の結果を以下の図9で示す.
CENTER:#ref(bovw_zengo.png,center,60%)
CENTER:&size(14){図9:BoVWを用いた画像照合実験の結果};
**ホモグラフィを用いた類似度算出についての実行結果 [#wf5f...
曇り入力画像群のうち, ある1地点の画像に関する類似度計算の...
晴れ入力画像群のうち, 上記と同様の地点で撮影した画像に関...
このグラフの赤い線の類似度が正解画像の地点であり, どの比...
CENTER:#ref(cloud_hom.png,center,60%)
CENTER:&size(14){図10:ある曇り入力画像に対する類似度算出};
CENTER:#ref(sunny_hom.png,center,60%)
CENTER:&size(14){図11:ある晴れ入力画像に対する類似度算出};
また, 図9とは別の地点の曇り入力画像に対する照合の結果, 不...
図12の赤い線の類似度が最も高くならなかったグラフについて,...
CENTER:#ref(cloud_miss.png,center,50%)
CENTER:&size(14){図12:ある曇り入力画像に対する類似度算出(...
CENTER:#ref(00122.png,center,45%)
CENTER:&size(14){図13:正解画像との照合結果画像};
CENTER:#ref(00125.png,center,45%)
CENTER:&size(14){図14:類似度が最も高かった画像との照合結...
これは, 入力画像群の中から1枚を入力画像として比較画像群と...
この実験では, 正解地点の前後の画像でもロボットから離れて...
ここで全ての入力画像に対して類似度算出を行い, 正解だった...
実験の結果を以下の図15, 16で示す.
CENTER:#ref(hom_zengo.png,center,60%)
CENTER:&size(14){図15:ホモグラフィを用いた画像照合実験の...
CENTER:#ref(hom_pitta.png,center,60%)
CENTER:&size(14){図16:ホモグラフィを用いた画像照合実験の...
*考察 [#k2a26f8a]
結果より, BoVWによる類似度算出はホモグラフィを用いた類似...
BoVWでは, 画像から検出したキーポイントすべてを使用して照...
点の影響が小さくなる. また以下の図17, 18よりわかるように,...
そのため多くのノイズを抱えてしまい, 正解画像の地点の類似...
CENTER:#ref(1723_key.png,center,50%)
CENTER:&size(14){図17:曇りの日のキーポイント};
CENTER:#ref(1442_key.png,center,50%)
CENTER:&size(14){図18:晴れの日のキーポイント};
ホモグラフィを用いた類似度算出では, 正解画像の地点の類似...
ことの多かったBoVWと比べて良い結果となった.
しかし, 図12のような結果になることもあった.
図13,図14より, 対応点として多くとれたのが画像の奥に見える...
そのため対応点が多く取れたと考えられる.
図15, 16より, 正解画像の前後の地点も正解としたときには良...
正解画像の地点のみを正解としたときはあまり良い結果とはな...
このことから, 現在のロボットの凡その位置は掴めるが, 丁度...
*まとめ [#e1d3257b]
本論文では, 自律走行ロボットが屋外を走行する際に画像を用...
自己位置推定をするためにSIFT特徴を用いた画像照合を行い, ...
SIFT特徴を用いたのは, 画像照合の問題である天気・日時によ...
今回の実験では, BoVW, ホモグラフィを用いた類似度算出の2つ...
日時・天気の異なる画像群を使用して評価した.
日時・天気の異なる画像群は, 曇り・晴れの画像群を2種類ずつ...
比較画像群に, 同じ基準画像群, 別の曇り画像群, 別の晴れ画...
結果として, BoVWでは, 同画像群以外の画像群との照合では低...
ホモグラフィを用いた類似度算出では, 正解地点とその前後を...
あまり良くない結果となった.
*参考文献 [#lb34f464]
[1]David G. Lowe,"Distinctive Image Features from Scale-I...
[2]藤吉 弘亘,"Gradientベースの特徴抽出 -SIFTとHOG-", 社...
[3]山城 容一朗ほか,""ビューシーケンスに基づく照明変化に頑...
[4]松本 吉央ほか,""ビューベーストアプローチに基づく移動ロ...
[5]OpenCV team,"OpenCV",http://opencv.org/,(access Feb,20...
------------------------------------------
#counter
Online: &online;
終了行:
[[太田研 公開用Wiki]]
*定点観測画像を用いた風景照合手法の照明変化に対する堅牢性...
#contents
*はじめに [#pd084368]
**研究背景 [#afdac191]
ロボットの種類の一つに自律走行ロボットがある. 自律走行ロ...
ロボットに画像を利用して周囲の認識をさせるためには, ロボ...
画像と画像を照合する方法は幾つかあるが, このうち本研究で...
**研究目的 [#fcaf37d9]
屋外で自律走行ロボットを走らせるとき, 日時・天気によって...
これが学習画像の照明具合と異なる場合, 日時・天気によって...
以上より, 照明条件が変化しても安定した画像照合方法が必要...
SIFT特徴量を利用して画像照合を行うことにより, 照明変化に...
*評価対象の手法 [#qb5e13e6]
**SIFT [#d49deb73]
SIFTとは, 1999年にDavid Lowe氏が提案したもので, 画像に対...
キーポイントとは, 画像上にあるコーナー等の特徴的な点であ...
画像にDoG処理を行い, スケールやキーポイント候補点を検出す...
検出したキーポイント候補点に対してコントラスト閾値やエッ...
得られたキーポイントのオリエンテーションを計算し, キーポ...
**Bag of Visual Words(BoVW) [#k7e657d9]
BoVWはキーポイントの位置を考慮せず, 特徴量のみを用いて画...
BoVWはまず学習画像から求めた局所特徴量のある128次元空間を...
次に, 学習画像毎に局所特徴量が所属する1~kのクラスタに対し...
マッチングしたい入力画像は局所特徴量を求めた後, それが学...
この入力画像のヒストグラムを学習画像のヒストグラム全てに...
**RANSACアルゴリズムを用いた画像照合とホモグラフィを用い...
***キーポイントのマッチング [#x8772a20]
RANSACを用いた画像照合を行うために, 異なる画像同士のキー...
SIFT特徴によるキーポイントマッチングは, まず入力画像と比...
次にその特徴量を異なる画像間で比較し, 最も似た特徴量と次...
最も似た特徴量と次に似た特徴量の比を計算し, この比が本研...
これは, ノイズによって2番めに近い点が対応点であるときの誤...
***RANSACアルゴリズムを用いた画像照合 [#ja74175e]
RANSACは, 取得したデータの法則性から大きく外れたノイズと...
RANSACは, 取得したデータのうちからランダムに幾つかのデー...
これを何度も繰り返した後, 正しい法則性の候補から最もデー...
このアルゴリズムを利用して, キーポイントのマッチングで求...
RANSACアルゴリズムを利用しなかった結果と利用した結果を図1...
この2つの図より, RANSACによって間違った対応点が消えている...
CENTER:#ref(no_ransac_matching.png,center,35%)
CENTER:&size(14){図1:通常のマッチング};
CENTER:#ref(ransac_matching.png,center,35%)
CENTER:&size(14){図2:RANSACを利用したマッチング};
***ホモグラフィを用いた類似度算出法 [#y70d4611]
まず, 図2のようなRANSACを用いた画像照合を行い,
マッチングした全ての点に対してのホモグラフィ変換行列Hを計...
このとき, ホモグラフィ変換行列Hは, 以下のような式で表され...
CENTER:#ref(hom_gyoretu.png,center,50%)
CENTER:&size(14){図3:ホモグラフィ変換行列};
左の入力画像のマッチングに使用された点の座標を(xi, yi),
右の比較画像のマッチングに使用された点を(xi', yi')とし,
iが同じならばマッチングした点であるとする.
入力画像のマッチング点にホモグラフィ変換行列Hを掛けた時,
以下の式のように全てのマッチングが正しければ比較画像のそ...
CENTER:#ref(hom_gyoretu2.png,center,50%)
CENTER:&size(14){図4:ホモグラフィ変換};
しかし, 間違ったマッチングが含まれていた場合, 計算された...
比較画像のそれぞれのマッチング点と同じ座標に変換されない.
以上より, ホモグラフィ変換行列を掛けた後の入力画像のマッ...
比較画像のマッチング点の座標の距離が小さいものを正解とし,...
入力画像を正解画像に対してホモグラフィ変換したとき, 変換...
そのため, 変換の歪みを表すホモグラフィ行列の3行1列と3行2...
*実験方法 [#w8a0093f]
**データセット [#uc7af80e]
データセットとして, 日時・天気の異なる画像群を4個用意した.
この4個の画像群には, 晴れの日の画像群, 曇りの日の画像群が...
この画像群は, LiDARを利用してほぼ同じルートを走行すること...
そのため, 実際のロボットの自律走行に近い条件で実験を行う...
CENTER:#ref(kumorigazougun.png,center,35%)
CENTER:&size(14){図5:曇りの日の画像群の一つ};
CENTER:#ref(haregazougun.png,center,35%)
CENTER:&size(14){図6:晴れの日の画像群の一つ};
**照合手法の評価 [#e59b1c94]
用意したデータセットの曇り画像群の一つと晴れ画像群の一つ...
基準画像群は, ロボットが実際に走行中に撮影した画像と考え...
実験における基準画像群に対する比較画像群には, 基準画像群,...
この基準画像群の1枚に対する比較画像群の類似度を計算するこ...
同じ位置で撮影した画像同士の類似度が高くなることが望まし...
*実験結果 [#q993641b]
**Bag of Visual Wordsについての実行結果 [#kcbd7bca]
BoVWでの実験では, SIFTのコントラスト閾値やエッジ閾値はデ...
曇り入力画像群のうち, ある1地点の画像に関する類似度計算の...
晴れ入力画像群のうち, 上記と同様の地点で撮影した画像に関...
CENTER:#ref(cloud_bovw.png,center,55%)
CENTER:&size(14){図7:ある曇り入力画像に対するBoVWによる類...
CENTER:#ref(sunny_bovw.png,center,60%)
CENTER:&size(14){図8:ある晴れ入力画像に対するBoVWによる類...
このグラフの赤い線の類似度が正解画像の地点となっている.
同じ画像群を入力画像群と, 比較画像群にしたときは正解の画...
これは, 入力画像群の中から1枚を入力画像として比較画像群と...
この実験では, 正解地点の前後の画像でもロボットの位置から...
全ての入力画像に対して類似度算出を行い, 正解だった入力画...
実験の結果を以下の図9で示す.
CENTER:#ref(bovw_zengo.png,center,60%)
CENTER:&size(14){図9:BoVWを用いた画像照合実験の結果};
**ホモグラフィを用いた類似度算出についての実行結果 [#wf5f...
曇り入力画像群のうち, ある1地点の画像に関する類似度計算の...
晴れ入力画像群のうち, 上記と同様の地点で撮影した画像に関...
このグラフの赤い線の類似度が正解画像の地点であり, どの比...
CENTER:#ref(cloud_hom.png,center,60%)
CENTER:&size(14){図10:ある曇り入力画像に対する類似度算出};
CENTER:#ref(sunny_hom.png,center,60%)
CENTER:&size(14){図11:ある晴れ入力画像に対する類似度算出};
また, 図9とは別の地点の曇り入力画像に対する照合の結果, 不...
図12の赤い線の類似度が最も高くならなかったグラフについて,...
CENTER:#ref(cloud_miss.png,center,50%)
CENTER:&size(14){図12:ある曇り入力画像に対する類似度算出(...
CENTER:#ref(00122.png,center,45%)
CENTER:&size(14){図13:正解画像との照合結果画像};
CENTER:#ref(00125.png,center,45%)
CENTER:&size(14){図14:類似度が最も高かった画像との照合結...
これは, 入力画像群の中から1枚を入力画像として比較画像群と...
この実験では, 正解地点の前後の画像でもロボットから離れて...
ここで全ての入力画像に対して類似度算出を行い, 正解だった...
実験の結果を以下の図15, 16で示す.
CENTER:#ref(hom_zengo.png,center,60%)
CENTER:&size(14){図15:ホモグラフィを用いた画像照合実験の...
CENTER:#ref(hom_pitta.png,center,60%)
CENTER:&size(14){図16:ホモグラフィを用いた画像照合実験の...
*考察 [#k2a26f8a]
結果より, BoVWによる類似度算出はホモグラフィを用いた類似...
BoVWでは, 画像から検出したキーポイントすべてを使用して照...
点の影響が小さくなる. また以下の図17, 18よりわかるように,...
そのため多くのノイズを抱えてしまい, 正解画像の地点の類似...
CENTER:#ref(1723_key.png,center,50%)
CENTER:&size(14){図17:曇りの日のキーポイント};
CENTER:#ref(1442_key.png,center,50%)
CENTER:&size(14){図18:晴れの日のキーポイント};
ホモグラフィを用いた類似度算出では, 正解画像の地点の類似...
ことの多かったBoVWと比べて良い結果となった.
しかし, 図12のような結果になることもあった.
図13,図14より, 対応点として多くとれたのが画像の奥に見える...
そのため対応点が多く取れたと考えられる.
図15, 16より, 正解画像の前後の地点も正解としたときには良...
正解画像の地点のみを正解としたときはあまり良い結果とはな...
このことから, 現在のロボットの凡その位置は掴めるが, 丁度...
*まとめ [#e1d3257b]
本論文では, 自律走行ロボットが屋外を走行する際に画像を用...
自己位置推定をするためにSIFT特徴を用いた画像照合を行い, ...
SIFT特徴を用いたのは, 画像照合の問題である天気・日時によ...
今回の実験では, BoVW, ホモグラフィを用いた類似度算出の2つ...
日時・天気の異なる画像群を使用して評価した.
日時・天気の異なる画像群は, 曇り・晴れの画像群を2種類ずつ...
比較画像群に, 同じ基準画像群, 別の曇り画像群, 別の晴れ画...
結果として, BoVWでは, 同画像群以外の画像群との照合では低...
ホモグラフィを用いた類似度算出では, 正解地点とその前後を...
あまり良くない結果となった.
*参考文献 [#lb34f464]
[1]David G. Lowe,"Distinctive Image Features from Scale-I...
[2]藤吉 弘亘,"Gradientベースの特徴抽出 -SIFTとHOG-", 社...
[3]山城 容一朗ほか,""ビューシーケンスに基づく照明変化に頑...
[4]松本 吉央ほか,""ビューベーストアプローチに基づく移動ロ...
[5]OpenCV team,"OpenCV",http://opencv.org/,(access Feb,20...
------------------------------------------
#counter
Online: &online;
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
