![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2020-03-23T08:19:05+00:00","default:ail-wiki","ail-wiki") #author("2020-03-23T08:21:06+00:00","default:ail-wiki","ail-wiki") [[太田研 公開用Wiki]] *参照画素選択によるテンプレートマッチングの道路標識への適用 [#w7d4fac7] #contents *概要 [#la11b7e7] 自動車が自律走行を行う上で周辺環境の把握は欠かせないものであり, その中に道路標識の認識がある. 道路標識を認識する手法としてテンプレートマッチングがある. しかし, 従来テンプレートマッチングでは処理時間が大きいという問題がある. そこで本稿では濃度共起情報を用いた高速なテンプレートマッチング手法を提案する.テンプレートマッチングの高速化のために類似度を比較する際の画素数を大幅に減らす. 参照画素の選択方法はテンプレート画像内全体での特定距離, 特定角度の濃度値ペアの出現確率の低い座標から順にランダムに任意の個数参照画素を選択する. また, マッチングを行う際の探索窓の位置と大きさを取得するために非探索画像内で赤色抽出, ラベリングを行い類似度を計算する.本手法と従来のテンプレート画像全体のマッチングを行う手法を実験, 比較した結果あまり検出の精度を落とすことなく実行速度を約 20 倍にまで向上させることに成功した. *手法 [#y846aa09] **2画素ペアの濃度共起ヒストグラム [#w811512b] 出現頻度が低く重要度の高い参照画素の候補を選ぶための濃度共起情報を持った濃度共起ヒストグラムを作成する. 図1のようなテンプレート画像中の 2 つの画素からなる画素対の濃度値が角度θ, 距離 r でそれぞれ p, q となる組み合わせをテンプレート画像全体から個数を求める. #ref(kyouki.png,center,40%) CENTER:図1: 画素値ペア 濃度値が p である点 P , 濃度値が q である点 Q としたとき ,P ,Q の位置ベクトル をそれぞれ v p = (i p , j p ), v q = (i q , j q ) とする . また ,P からみた Q の変位ベクトルを d = (k, l) とすると , この 2 画素からなる画素ペアの濃度共起ヒストグラム h(p, q, d) は以下のように定義される . #ref(histogram.png,center,70%) 求めた濃度共起情報を正規化し出現頻度の低いものから順に並べていく.これらのテンプレートデータを被探索画像に対して (dx, dy) ずらしつつ重ね合わせ ,式1を使って正規化相互相関を行い類似度を計算していく .i 座標を f i (k), j座標を f j (k), 濃度値を f v (k), k = 0, 1, 2...M − 1 (M は参照画素数 ) とする . #ref(zncc.png,center,70%) CENTER:式1: 正規化相互相関 この正規化相互相関によって算出されたスコアが高いほど類似度が高いとなる . このスコアが閾値を超えたものを道路標識であると判断している . **赤色抽出・ラベリング [#r6932710] 探索窓の座標を求め , さらに参照点を探索窓の大きさで正規化する必要がある . 被参照画像から一定の条件を満たす赤色の物体を検出しその物体に対して配列に代入した参照点との類似度を計算する .まず , 赤色の全領域を抽出する . 本研究は実環境下での使用を想定しているため天 気や日陰などの影響による自然光の強さを考慮する必要がある . そのため , 被参照 画像を RGB 表色系から HSV 表色系へと変換した . (H: 色相 S: 彩度 V: 明度 ) 被参照画像中に白や黒に近いような色があった場合 , 少しの色の違いで全く違う 色 ( 色相の角度 ) となってしまうことがあるためパラメータを H( 色相 ) が 15 度以上 135 度以下 ,S( 彩度 ) を 25 以上とした .V( 明度 ) は実環境下では変化が激しいため設 定はしていない . 非探索画像のすべての赤色を抽出するとノイズが含まれてしまうためラベリング 処理を行い領域横幅が 15 以下のものを除去した . ここで , 小さい赤の領域を除去す ると大きい赤色領域にも色の欠損が起こってしまうので膨張処理 , 収縮処理によっ てクロージングを行った . これらの処理前と処理後の画像を図2, 図3 に示す . #ref(091.png,center,40%) CENTER:図2: 非探索画像 #ref(red.png,center,40%) CENTER:図3: 非探索画像の処理後 **参照点の移動 [#ua7b0e62] ここまでで参照画素の選択と正規化相互相関によるマッチングを行う探索窓の 大きさと座標が求まったが , このままマッチングを行うと参照点がほぼエッジ上に 乗ってしまうことがあるためを非探索画像と照らし合わせる際に非探索画像側の 対象物が少し傾いている , または探索窓とのズレがあるなどで全く違う色であるべ きと判断されてしまうことがある . よって , 参照点を上下左右にランダムに 8 ピク セルだけ移動させる処理を加える . 今回 , 道路標識のテンプレート画像の一番外の枠が参照されないように中心から 半径 80 %の距離の参照点を計算し全体の 41652 画素から濃度共起確率の低い 500 画素を自動的に選び緑色の丸で囲った ( 図 13). 図 13 の参照画素をランダムに 8 ピ クセルずらしたものが 図 14 となる . CENTER:&ref(key_result.png,center,60%); &ref(key_result_shift.png,center,60%); CENTER:図4: 処理前 / 図5: 処理後 *評価実験 [#a195a0a7] **実験方法 [#k38df5d4] 実際に桐生市内の公共の道路を走行中の車載カメラから得た連続した画像群約 5 万フレームに対して物体が連続した画像内に写ってから物体の全体が写らなくな るまでに認識するか調べた . 本研究の最終目的は道路標識の種類まで認識すること だが , アルゴリズム上道路標識の外側と内側の 2 段階に分けてマッチングを行うた め今回は道路標識の外側のマッチングを行い , 速度標識などの外枠が赤色で内側が 白色の道路標識に対してのマッチングを行った . また , テンプレート画像の全画素を使用するマッチング , 参照画素を選択してそれ ぞれをずらす処理を加えない手法と参照画素を選択してランダムに 8 ピクセルず らしガウシアンフィルタをかける手法の 3 つの実行速度を比較した . テンプレート から算出される参照画素は一度計算してしまえば座標が変わることはないので実 際にプログラムを使用する際は一度だけテンプレート画像から参照画素を計算し ておき , その後の処理を被参照画像の入力があるたびに行う . よって , 実行速度の測 定方法は被参照画像の赤色抽出からマッチング終了までの区間の時間を測定した . **実験結果 [#e451b2d1] 下に示された図6 のように一定の大きさを超える赤い物体と認識され たものは赤い四角で囲まれ , 内側が白で外枠が赤のような対象標識は青い四角で囲 まれた結果が理想結果となる . #ref(detected.jpeg,center,40%) CENTER:図6: 結果画像 検出数の結果を表 1 に示す . #ref(resultgraph.png,center,70%) CENTER:表1: 実験結果 全域マッチングはテンプレート画像の指定された領域の全画素を座標をずらす ことなく比較したものの結果である . 本手法ずらしなしは濃度共起情報によって選 択された参照画素を座標をずらすことなく比較したもので , 本手法ずらしなしは濃 度共起情報によって選択したものをランダムに 8 ピクセルずらしたものの結果で ある . また , fps は 1 秒間あたりの実行回数を意味する . **誤検出例 [#r50e9f7d] 表 1 の実験結果にもあるように , 本手法で参照点をずらしても誤検出が 9 個あっ た . 多くが図7 の右端にあるような外側が赤色で内側が白色の看板などであった . 本論文の研究では外側と内側の一部の色情報のみのマッチングを行っているため 図7のような誤検出は当然と考えられる . これを解決するためには赤色物体の中 心までをマッチングすることで内側に青色で速度制限を表す数字が無いなどで標 識の候補から外すことができると考えられる . #ref(misdetection.jpeg,center,40%) CENTER:図7: 誤検出例 *結論 [#t78b5c2c] 本研究では , 自動運転車が自動的に周辺環境を認識しつつ自律走行を行うために , 高速な処理が可能な濃度共起情報を用いたテンプレートマッチングを用いて道路 標識を認識する手法を提案した . テンプレートマッチングの高速化のために類似度を比較する際の画素数を大幅 に減らした . 参照画素の選択方法はテンプレート画像内全体での特定距離 , 特定角 度の濃度値ペアの出現確率の低い座標から順にランダムに任意の個数参照画素を 選択する . マッチングを行う際の探索窓の位置と大きさを取得するために非探索画 像内で赤色抽出 , ラベリングを行った . 今回は道路標識の外側のマッチングを行い対象の標識であるかの認識が正確に 行えるかの実験を行った . 表 1 の実験結果から従来のテンプレート画像全域で行う マッチングに比べると本手法の参照点ずらしなし及び本手法で参照点をずらした 結果は検出精度は落ちるが実行速度は約 20 倍まで向上させることに成功した . 本 手法の参照点ずらしなしと本手法で参照点をずらした結果を比べると参照点をず らしたほうが大幅に制度が向上し , 従来のテンプレート画像全体のマッチングと比 べてもあまり精度が落ちることはなかった . 今後としては , 本研究で検出された道路標識に対して内側のマッチングも行い道 路標識の種類まで認識していく必要がある . また , 赤色抽出の閾値調整や手法の改 善などが考えられる .
