エピポーラ拘束を用いた小惑星画像の対応点決定における精度向上手法 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• エピポーラ拘束を用いた小惑星画像の対応点決定における精度向上手法 へ行く。
• エピポーラ拘束を用いた小惑星画像の対応点決定における精度向上手法 の差分を削除

[[太田研 公開用Wiki]]

*エピポーラ拘束を用いた小惑星画像の対応点決定における精度向上手法 [#o7a389bc]

#contents

*はじめに [#b0775548]
　小惑星探査機「はやぶさ」の後継機として、 2014 年に「はやぶさ 2 」は打ち上
げられた。「はやぶさ 2 」が目指すのは C 型の小惑星「リュウグウ」である。小惑
星「リュウグウ」には太陽系が生まれた頃から存在する水や有機物が残されている
と考えられている。小惑星からそれらのサンプルを採取し地球へ持ち帰ることが
「はやぶさ 2 」の目的である。 「はやぶさ 2 」は 2018 年に「リュウグウ」へ到着
し、サンプル採取のためのタッチダウンを行うが、その際にどこへタッチダウンす
れば良いのかということを決定しなければならない。そのためには小惑星の形状
情報が必要となる。小惑星の形状情報は、異なる位置から撮影した画像間の同一
点の対応をとることによって復元可能である。しかし、この対応付けの作業を人
間の手でおこなうのは非効率的であるため、コンピュータの画像処理によって自
動で行うことが好ましい。自動で対応付けを行う方法として、 SIFT や AKAZE と
いった既存の特徴点検出アルゴリズムで特徴点の検出を行い、それらの類似度に
よって計算を行うことができる。しかし、これらの評価基準だけでは比較的多くの
誤対応が含まれてしまう。 そこで本論文では、剛体を異なる位置から撮影した
画像の同一点に成り立つ関係であるエピポーラ拘束を用いることによって、 SIFT
や AKAZE といった評価基準で計算された対応から正しい対応のみを選別するこ
とを目的とする。
*AKAZEによる特徴点検出とエピポーラ拘束 [#h4f243b1]
**AKAZEによる特徴点検出 [#x5712db5]
　図 1 に示す撮影位置の異なる 2 枚の小惑星画像に対し、 AKAZE での特徴点検出
を行い、その対応をとった例を図 2 に示す。図 2 は 2 枚の画像を重ねて描画したも
のであり、それぞれ青色の点が 1 枚目の画像の特徴点、緑色の点が 2 枚目の画像の
特徴点、それらを結ぶ赤い線が対応を示す。
CENTER:#ref(小惑星像000005.png,center,50%)
CENTER:&size(14){図1:撮影位置の異なる小惑星画像(0°と5°)};~
#br
#br
CENTER:#ref(akaze_000005.jpeg,center,30%)
CENTER:&size(14){図2:AKAZEによる対応付けの画像};~

　この画像ペアの撮影角度は 5 °の変化しかないので、対応の線(赤線)というの
は比較的に短いものになるはずである。しかし、図 2 を見ると対応の線は短いも
のだけでなく長いものも多く描画されている。この長い線というのが誤対応を示
すものである。図 2 からわかるようにこの評価基準だけでは比較的多くの誤対応
が含まれてしまっている。
**エピポーラ拘束 [#fba22fc3]
　エピポーラ拘束とは、剛体を異なる位置から撮影した画像の 3 次元上の同一点
に成り立つ関係である。図 3 にエピポーラ拘束を表す図を示す。図のように剛体
と 2 つのカメラがあるとする。
CENTER:#ref(epi図.png,center,30%)
CENTER:&size(14){図3:エピポーラ拘束の例};~

　ここで、剛体のある 1 点( X )と 2 つのカメラ (O L , O R ) を通る平面をエピポーラ
平面といい、その平面とそれぞれの画像の交線 ( 直線 X R − e R ) をエピポーラ線と
いう。また、 e R と e L はエピポールと呼ばれ、お互いのカメラから見える相手の位
置が投影される点である。図のように O L から直線 O L − X 上に見える点というの
はすべて直線 X R − e R 上に乗る。~
　O L から見る剛体上の点の位置が X L に決定されることで、画像 2 でのエピポー
ラ線(直線 X R − e R )は一意に決まる。つまり O R から剛体上の同じ点を見つける
ならば、そのエピポーラ線上を探すことで見つけられるということである。もし
点がエピポーラ線上にないとするならばそれは正しい対応ではないということが
わかる。この関係がエピポーラ拘束である。~
　この拘束が成り立つとき、以下のようなエピポーラ拘束式に従う。~
CENTER:#ref(episiki.jpeg,center,80%)
CENTER:F:3 × 3 の基礎行列 (FundamentalMat)
CENTER:#ref(epimat.jpeg,center,60%)

　x 1 (太字), x 2(太字) というのは画像上の点を 3 次元ベクトルで表したものであり、 x 1 , y 1 と
x 2 , y 2 はそれぞれの画像上での座標である。画像間の点が正しい対応の時にこの式
に従うので、誤った対応である場合、この拘束式の左辺の値というのは 0 になら
ない。また、本研究では基礎行列については OpenCV に用意されている findfundamentalmat 関数によって計算している。

*エピポーラ拘束適用のための準備と評価方法 [#d5f959e7]
　エピポーラ拘束を適用するにあたって、エピポーラ拘束がどの程度の効果を発
揮したのかを調査しなければならない。そのためには比較基準となる真の判定が
必要になる。
**使用する画像 [#w95b4270]
　本実験に使用する画像として JAXA から提供していただいた小惑星の模型画像
を用いる。小惑星の模型を 0 °から 5 °刻みで 1 周回りながら撮影したものである。
今回の実験では、 0 °と 5 °、 135 °と 140 °、 265 °と 270 °の 3 つの画像ペアを用
いて実験を行う。以下にそれぞれの画像ペアを図 4 、図 5 、図 6 として示す。
CENTER:#ref(image000_005.png,center,60%)
CENTER:&size(14){図4:0°・5°のペア};~
#br
CENTER:#ref(image135_140.png,center,60%)
CENTER:&size(14){図5:135°・140°のペア};~
#br
CENTER:#ref(image265_270.png,center,60%)
CENTER:&size(14){図6:265°・270°のペア};~

**評価方法 [#pafd63a1]
***特徴点数の制限 [#u933474f]
　AKAZE による特徴点の検出数は数千単位であり、後述する正解データを作成す
るにあたり数千個という数は現実的ではないと考えられる。そのため今回の実験
では特徴点の個数は 200 ∼ 300 程度に制限して行う。~
　制限方法として AKAZE のアルゴリズムに用意されているパラメータのうち、
akaze threshold を変更する。特徴量計算の結果 akaze threshold の値を超えるもの
が特徴点として選ばれるので、より特徴の強い特徴点 200 ∼ 300 程度を対象とした。
***正解データ [#zd265686]
　エピポーラ拘束式による判定が本当に正しいものであるのかを確認するのに、真
の判定となるものが必要である。そこで、 1 枚目の画像の AKAZE で検出した特徴
点に対し、 2 枚目の画像でその特徴点がどこへ移動したのかというのを人間の目で
判定し、その座標を記録した正解データを作成した。本論文ではこれを真のデー
タとし、エピポーラ拘束式の判定と比較することでエピポーラ拘束式の正誤を判
断する。~
　また、比較する際の判定基準として「正解データの座標に対しズレが 3 画素
以内であれば、それは正しい対応とする」というように判定する。ここで 3 画素
以内である理由は、正解データはあくまで目視で判断したデータであるので、そ
の誤差の可能性も考慮して 3 画素程度が適当であると考えたからである。

*実験と結果 [#ue579ea4]
　本章では、前章で述べた画像と評価方法を用いて、エピポーラ拘束を適用した
場合と適用しない場合の比較とエピポーラ拘束適用における最適な閾値の調査と
いう 2 つの実験について述べる。
**エピポーラ拘束の有無の精度比較 [#r21cf177]
***実験方法 [#x642c21f]
　実験の流れとして、まず小惑星画像ペアに AKAZE を用いて対応付けを行う。そ
の対応付けのデータと正解データを比較し、どの程度正解データに近い判定がで
きているのかを調査する。次に AKAZE によって対応付けされたデータに対して、
エピポーラ拘束を適用し、正しい対応と誤った対応の選別を行う。その後、エピ
ポーラ拘束が選別したデータと正解データを比較し、どの程度正解データに近い
判定ができているのかを調査する。~
　以上の流れを 3 つの画像ペアそれぞれで行う。また、ここでのエピポーラ拘束
適用における閾値は 5 として適用する。閾値についての詳細は次節で述べる。
***結果 [#ufd71c31]
　最初に 0 °・ 5 °のペアでの処理結果を図 7 、図 8 として示す。
CENTER:#ref(akaze_000005.jpeg,center,30%)
CENTER:&size(14){図7:エピポーラ拘束無し(0°・5°)};~
#br
#br
CENTER:#ref(akazeE_e5_000005.jpeg,center,30%)
CENTER:&size(14){図8:エピポーラ拘束有り(0°・5°)};~

　画像の見方については 2 章 1 節で述べたものと同じである。図 7 を見ると全体的
に誤対応が多いこがわかる。比べて、図 8 のエピポーラ拘束を適用した処理画像
を見てみると、図 7 であったような誤対応はほとんどなくなっていて、正しい対
応のみが残されているのが確認できた。~
　次に 135 ° 140 °ペアでの処理結果を図 9 、図 10 に示す。
CENTER:#ref(akaze_135140.jpeg,center,30%)
CENTER:&size(14){図9:エピポーラ拘束無し(135°・140°)};~
#br
#br
CENTER:#ref(akazeE_e5_135140.jpeg,center,30%)
CENTER:&size(14){図10:エピポーラ拘束有り(135°・140°)};~

　この画像ペアでも先ほどの 0 ° 5 °のときの処理結果と同様に誤対応がなくなり、
正しい対応のみが残されている。~
　最後に 265 ° 270 °ペアの処理結果を図 11 、図 12 に示す。
CENTER:#ref(akaze_265270.jpeg,center,30%)
CENTER:&size(14){図11:エピポーラ拘束無し(265°・270°)};~
#br
#br
CENTER:#ref(akazeE_e5_265270.jpeg,center,30%)
CENTER:&size(14){図12:エピポーラ拘束有り(265°・270°)};~

　エピポーラ拘束を適用した画像に一部誤対応が見られるが概ね正しい対応を選
別できていることがわかる。~
　次にそれぞれのペアでの正答率をまとめた表を以下に表 1 として示す。ここで
の正答率とは、前章で述べた正解データの 3 画素以内におさまったものの個数を
全対応数で割り、 100 をかけたものである。言い換えれば、どれだけ正解データに
近い判定をしたかの指標である。~
CENTER:&size(14){表1:画像ペアごとの正答率};~
CENTER:#ref(正答率.png,center,60%)

　この結果からどの画像ペアでも 60 %代から 90 %代に正答率は上昇した。した
がって、エピポーラ拘束を適用することによって大幅に対応付けの精度は向上し
たことがわかる。
**エピポーラ拘束の最適な閾値の調査 [#d0378d45]
　エピポーラ拘束における閾値とは、(1)式の左辺の値が閾値以下ならば正しい
対応と判定するような値を示す。閾値を変化させることで対応選別の性能は多少
変わってくる。本節では小惑星画像にどの程度の閾値で適用させることが最適で
あるのかを調査する。また、前節ではエピポーラ拘束適用における閾値を 5 とし
て適用したが、その根拠も述べる。
***実験方法 [#u1c7499b]
　まず、最適な閾値調査を行うにあたって以下のようなパラメータに注目するこ
とで、閾値ごとのエピポーラ拘束の性能を比較することを考える。
CENTER:
kc: ( 本来 ) 正しい対応で、(エピポーラ拘束が)正しいと判定した対応数~
kw: 誤った対応で、誤っていると判定した対応数~
kfp: 誤った対応で、正しいと判定した対応数~
kfn: 正しい対応で、誤っていると判定した対応数~

　本来正しい対応というのは正解データが正しいと判定した対応である。正解デー
タの判定に対してエピポーラ拘束がどのような判定をしたのかによってそれぞれ
のパラメータにカウントされる。ここで、 kc,kw の意味するところは正解データの
判定とエピポーラ拘束の判定が一致したものということができる。また、 kfp,kfn
はその逆で正解データの判定とエピポーラ拘束の判定が一致しなかったものであ
る。つまり、 kc,kw の個数が多いほどより正解データに近い判定が行えているとい
うことになる。~
　これらのパラメータについて、閾値を変化させながらその個数の変動を観察する。また、 kc,kw の個数を使って正答率を求める。計算式は 正答率 = ((kc+kw)/全対応数)
× 100である。調査する閾値の範囲についてだが、エピポーラ拘束適用における閾値の
デフォルトが 3 であるので、その周辺である 1 ∼ 7 までの閾値を調査する。こちら
も前節の実験と同様に3つの小惑星画像ペアそれぞれについて行う。特徴点個数
に関しては 0 ° 5 °ペアは 272 個、 135 ° 140 °ペアと 265 ° 270 °ペアは 200 個で行う。
***結果 [#xb6d6477]
　0 °・ 5 °ペアで行った結果、パラメータの個数を表 2 として、正答率のグラフを
図 13 として以下に示す。
CENTER:&size(14){表2:パラメータの個数(0°・5°)};~
CENTER:#ref(param05.png,center,80%)
#br
CENTER:#ref(ansgraph05.png,center,50%)
CENTER:&size(14){図13:閾値変化による正答率の変化(0°・5°)};~

　正答率のグラフは横軸が閾値であり、縦軸が正答率である。~
　また 135 ° 140 °ペア、 265 ° 270 °ペアの調査結果も以下にそれぞれパラメータ
の個数を表 3 、表 4 、正答率を図 14 、図 15 として示す。
CENTER:&size(14){表3:パラメータの個数(135°・140°)};~
CENTER:#ref(param135140.png,center,80%)
#br
CENTER:#ref(ansgraph135140.png,center,50%)
CENTER:&size(14){図14:閾値変化による正答率の変化(135°・140°)};~
#br
#br
#br
#br
#br
#br
#br
CENTER:&size(14){表4:パラメータの個数(265°・270°)};~
CENTER:#ref(param265270.png,center,80%)
#br
CENTER:#ref(ansgraph265270.png,center,50%)
CENTER:&size(14){図15:閾値変化による正答率の変化(265°・270°)};~

　それぞれの画像ペアの正答率のグラフに注目すると、閾値3∼6にかけての正
答率は画像ペアが変化しても上下のブレが小さく、比較的に高い正答率を維持し
ていることがわかる。また閾値ごとに画像ペアの正答率の平均をとったものを表
5 として以下に示す。
CENTER:&size(14){表5:正答率の平均};~
CENTER:#ref(ave.png,center,100%)

　この結果から、閾値 5 の時の正答率が最も高くなっていることがわかる。した
がって先ほどの閾値が 3 ∼ 6 にかけての正答率が安定しているということと、その中
でも閾値 5 での正答率が最も高いことから 5 での適用が最適であると考えられる。

*考察 [#pc7629fe]
**調査によって得られた結果について [#w83059d0]
　ここでは閾値調査の結果について述べる。~
　調査の結果から閾値の変化によって各パラメータの個数が変動し、正答率も変
化したが、前章の結論としては閾値 5 のときというのがエピポーラ拘束適用にお
いて最適な値であるとした。しかし、図 14 や図 15 を見ると正答率が高くなってい
るのが閾値 2 ∼ 3 付近になっている。 3 つの画像で平均を取ることでは閾値 5 が最
も正答率が高い結果ではあったが、それはあくまで今回使用した 3 つの画像ペア
における結果である。もちろん、 5 が最適であるというのも一つの目安となるが、
完全に信頼の置ける結果とは言いがたい。~
　このことに関する対処法としてより多くの画像ペアを用いて、より統計的なデー
タを取ることで最適な閾値を見つけることができると考えられる。~
　また、信頼性ということにも関連して、今回の実験で行ったのは 5 °変化の画像
ペアのみである。特徴点の対応付けにあたって、 5 °以上の変化に対処できないか
もしれないというのは致命的である。 5 °以上の変化にも安定して正しい対応の選
別が行えるようにするためにも角度変化の大きい画像ペアでの実験も必要だと考
えられる。
*まとめ [#eac0e536]
　本論文では小惑星の模型画像に対し AKAZE を用いて計算された対応から正し
い対応のみを選別するという目的で、エピポーラ拘束を利用した対応精度向上手法
を提案した。剛体を異なる位置から撮影した画像の同一点に成り立つ関係である
エピポーラ拘束を利用すれば、その拘束から大きく外れたものは誤った対応、逆に
拘束に近い結果となれば正しい対応というように判定することが可能である。今
回の実験では比較対象として人間が目視で判断した正解データを作成した。これ
を真の判定として性能調査の比較に用いた。~
　実験としては、エピポーラ拘束を実際に適用した場合と適用しなかった場合で
の対応の正答率で比較をした。結果としては、エピポーラ拘束無しでは 60 %程度
であった正答率がエピポーラ拘束を適用させることによって 90 %以上と大きく正
答率が変化し、対応付けの精度は大幅に向上することが確認できた。また、エピ
ポーラ拘束を適用させるにあたって、どこまでを正しい対応とするのかを決定す
る閾値の調査も行った。調査の結果としては閾値 5 の時が最も正答率が高く、今
回の実験では最適であると考えられる。~
　今後の課題としては、閾値 5 がすべての小惑星画像において最適というわけで
はないので信頼性を高めるためにも角度変化の大きい画像ペアでの実験やさらに
多くの画像ペアで実験することでより信頼性のある結果を目指すことである。

*参考文献 [#p5249fea]
[1] はやぶさ2プロジェクトサイト: http://www.hayabusa2.jaxa.jp/topics/
20160331/~
[2] Alcantarilla, P., Nuevo, J., Bartoli, A.: Fast Explicit Diffusion for Accelerated
Features in Nonlinear Scale Spaces,2013~
[3] 「3次元ビジョン」 徐剛・辻三郎 著 共立出版  p61 63 「エピポーラ幾何」~
[4] OpenCV : http://opencv.org/~