![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
[[太田研 公開用Wiki]] *色情報を用いた道路標識の自動抽出 [#wfb7b059] #contents *はじめに [#vc639538] 自動車が交通規則に則り安全に自動運転するためには,人間に代わって道路標識を正しく認識し,それにともなって判断,操作する技術が必要である. 道路標識の認識手法として, SIFT 特徴量やニューラルネットワークの学習機能を用いた手法などが提案されている. しかし,それらは膨大な学習用サンプルを必要としており,複雑な処理を要する. そこで, 道路標識の自動認識の前段階である自動抽出をシンプルな処理のみで実行する手法を提案する. 道路標識はJIS規格により定められた特徴的な配色が用いられている. そのため道路標識の認識には,情景画像から得られる色情報が有用であると考え,色情報による自動抽出を試みた. 道路標識の中でも外枠が赤色円形状の規制標識は設置数が多く,主に禁止を表す道路標識であることから重要度は高い. よって,赤色円形の道路標識を自動抽出の対象とした. *提案手法 [#w77e8d4d] 提案する自動抽出の処理フローを以下の図 1 に示す. CENTER:#ref(Flow_img.png,center,20%) CENTER:#ref(Flow_img.png,center,50%) CENTER:&size(11){図1:自動抽出の処理フロー }; **赤色領域抽出 [#i613632e] 道路標識を自動抽出するために,赤色の領域とそれ以外を分ける必要がある. そこで,まず赤色領域の抽出を行った. 色情報を扱いやすくするため,入力画像をRGB色空間からHSV色空間に変換した. なお, 情景画像は天気や日光等の影響で明るさの条件が不安定である. したがって,色相値Hと彩度値Sの色情報のみを赤色領域の抽出に用いることにした. 赤色領域の抽出条件は実験の結果から,色相値(パラメータH)は15以下,135以上,彩度値(パラメータS)は25以上とした. この処理により,赤色領域が抽出された. 入力画像と赤色領域抽出後の画像を図2に示す. CENTER:#ref(red_img.png,center,50%) CENTER:&size(11){図2:入力画像と赤色領域抽出後の画像}; **雑音除去 [#zc4dd5a8] 抽出した赤色領域は様々な形,大きさのものがある. その中から道路標識を抽出するために,不必要なノイズを除去する処理が必要である. そこで,領域の幅が一定数以下の領域を除去する処理を行った. 領域の幅を得るためにラベリング処理を行った. なお,領域面積で除去すると,抽出したい道路標識のように中心が空洞の領域は大きくても除去されてしまい,逆に誤抽出となるような空洞のない赤い物体は小さくても除去されなくなってしまう. したがって,領域横幅(パ ラメータα)が15画素以下の領域を除去する条件とした. この処理により,標識候補である赤色領域が絞られた. 赤色領域抽出後の画像と雑音除去後の画像を図3に,また変化が顕著であった画像右上部分の雑音除去前後の画像を拡大して図4に示す. CENTER:#ref(noise_img1.png,center,50%) CENTER:&size(11){図3:赤色領域抽出後の画像と雑音除去後の画像}; CENTER:#ref(noise_img2.png,center,50%) CENTER:&size(11){図4:画像右上部分の雑音除去前後}; **クロージング [#l7d48e31] 標識候補である赤色領域は抽出処理により,領域内に穴が開いていたり切断されていたりする. そのままテンプレートマッチングを行うと,類似度であるマッチングスコアが低くなってしまう. そこでマッチングスコアを向上させるためにクロージング処理を行った. 膨張処理をN回行い,その後収縮処理をN回行うことをクロージングという. この処理を行うことで,図形の穴埋めや切断部分の結合が可能である. 今回は膨張処理,収縮処理を各1回行った. この処理により,テンプレートマッチングの精度が向上した. 膨張処理後の画像と収縮処理後の画像(クロージング処理後の画像)を図5に,また膨張処理前後,収縮処理後の対象標識を拡大して図6に示す. CENTER:#ref(closing_img1.png,center,50%) CENTER:&size(11){図5:膨張処理後の画像と膨張処理後の画像}; CENTER:#ref(closing_img2.png,center,50%) CENTER:&size(11){図6:膨張処理前後,収縮処理後の対象標識}; **テンプレートマッチング [#p5697ae9] テンプレートマッチング処理を用いて道路標識を抽出する. テンプレートマッチングとは,テンプレートと呼ばれる小画像と同じものが入力画像全体の中に存在するか調べる処理である. 今回はテンプレートとして図7のイラスト画像を使用した. なお,比較手法は正規化相互相関を用いた. 撮影するカメラと道路標識間の距離によって標識の大きさが異なる. そのため,一つの大きさのテンプレートでは,様々な距離の道路標識を抽出することができない. そこで,テンプ レートの大きさを領域の横幅にあわせて変更した. なお,縦に道路標識が連なっている場合, それらすべてで1つの領域とみなされる恐れがあるため, 領域幅は横幅のみを採用し正方形に調整した. 今回はマッチングスコア(パラメータβ)が0.44以上のものを道路標識とし,抽出した. クロージング処理後とテンプレートマッチング処理後の画像(道路標識が抽出された画像)を図8に示す. CENTER:#ref(temp.png,center) CENTER:&size(11){図7:テンプレート}; CENTER:#ref(temp_img.png,center,50%) CENTER:&size(11){図8:クロージング処理後とテンプレートマッチング処理後の画像}; *評価実験 [#fa777cb8] 実際に走行中の車から撮影した情景画像を用いて行った実験,および実験結果について述べる. **実験方法 [#pdc2d325] 抽出対象の道路標識は，標識自体の持つ危険度や設置頻度等を考慮し，赤色円形状の規制標識27種類とした. 入力画像は，晴れまたは曇りの天候下で,群馬県内における朝方および昼間に撮影された情景画像のうち, 対象標識が少なくとも1つある情景画像(800×477ピクセル)100枚とした. 以上の方法で本手法の標識抽出性能の評価を行った． 実験の際に採用した閾値は提案手法で述べたとおりである. 一覧を表1に示す. CENTER:&size(11){表1:実験時の閾値}; CENTER:#ref(1.png,center,50%) **実験結果 [#z8825efa] 本手法の評価結果を表2に示す． なお, 優 ：入力画像内全ての対象標識が抽出された画像 良 ：誤抽出が含まれるが,入力画像内全ての対象標識が抽出された画像 可 ：抽出できなかった対象標識がある画像(誤検出も含む) 不可 ：対象標識が 1 つも抽出できなかった画像 とする. CENTER:&size(11){表2:実験結果}; CENTER:#ref(2.png,cente,50%r) 以上の結果より,情景画像中全標識を抽出した確立は90%となった． 実際に実験で使用した出力画像の例を図9に示す． 抽出された標識は黄緑色の正方形で囲まれている. 左上の画像では最高速度(40キロ)標識とその下の駐車禁止標識が抽出されている. 右上の画像では駐車禁止標識が抽出されている. 左下の画像では自転車通行止めの標識が抽出されている. なお,その下の歩行者の通行止めの標識は四角形なので対象標識とみなさない. 右下の画像では最高速度(50キロ)標識とその下の駐停車禁止標識が抽出されている. CENTER:#ref(result.png,center,50%) CENTER:&size(11){図9:実験で使用した出力画像の例}; *考察 [#xead2e5a] 実験結果より, 道路標識と誤抽出した原因および道路標識が抽出できなかった原因についての考察を述べる. **誤抽出 [#xef83379] ***原因：マッチングスコアの閾値 [#p29929d8] 道路標識以外の外枠が赤色の物体のテンプレートマッチング処理におけるマッチングスコアが0.44を超えてしまい,誤抽出されていた. 誤抽出のあった情景画像の出力画像の例を図10に示す． 対策としてテンプレートマッチング処理におけるマッチングスコア閾値の変更等があげられる． しかし，閾値を上げることにより，未認識，つまり標識を見落とす回数が増加する． CENTER:#ref(case1.png,center,50%) CENTER:&size(11){図10:誤抽出のあった情景画像の出力画像の例}; **未抽出 [#q6df49e9] ***原因①：道路標識の劣化 [#r967140f] 長い年月設置されている道路標識は，日焼け，酸化等により道路標識自体が劣化している. そのため，道路標識が色あせてしまっていて,赤色領域抽出処理の条件外と処理され未認識となる． 抽出できなかった情景画像の出力画像とその画像の赤色領域処理後の画像の例を図11に示す. なお, 確認を容易にするため赤色領域を白色で示した. 対策として赤色領域抽出処理の閾値の変更等があげられる． しかし，閾値を下げることにより，誤抽出の回数が増加する． CENTER:#ref(case2.png,center,50%) CENTER:&size(11){図11:劣化した標識の出力画像と赤色領域処理後の画像}; ***原因②：環境光による影響 [#qb735cc1] 逆光時（太陽を正面にしたとき）に撮影を行うと，黒つぶれが発生する． 明るさの変化に対応できるようHS値のみを条件にする対応をとっているため,逆光時の情景画像の多くが標識抽出に成功している. 抽出できた情景画像の出力画像とその画像の赤色領域処理後の画像の例を図12に示す. なお,図11と同様,赤色領域を白色で示した. しかし,道路標識が黒く塗りつぶされてしまい，赤色領域抽出処理の条件外と処理され未認識となったものもごく一部あった． この手法では黒つぶれの対策に限界があることがわかった. 抽出できなかった情景画像の出力画像とその画像の赤色領域処理後の画像の例を図13に示す. なお,図11と同様,赤色領域を白色で示した. CENTER:#ref(case3.png,center,50%) CENTER:&size(11){図12:逆光情景画像の抽出に成功した出力画像とその画像の赤色領域処理後の画像}; CENTER:#ref(case4.png,center,50%) CENTER:&size(11){図13:逆光情景画像の抽出に失敗した出力画像とその画像の赤色領域処理後の画像 }; *まとめ [#ic5566bc] 今回は標識自体の持つ危険度や設置頻度等を考慮し，抽出対象標識を赤色円形状の規制標識27種とした． しかし,同様の処理で他の青色円形状の標識や赤色三角形状の標識も抽 出できると考えられる. また,発展として道路標識の認識を追加する場合にも,本手法はシンプルな処理のみで構成されているため,拡張しやすい手法と言える． 実験では,走行中に撮影された100枚の情景画像を用いて評価を行った. 9割の情景画像で 画像内に存在するすべての道路標識を抽出できたことから高い抽出率であるといえ,本手法が有効であると証明できた. また，未抽出,誤抽出の原因究明を行い,それぞれの対応策を考案した． 今後の課題としては，他の形状,色情報を用いた標識の自動抽出,また発展として道路標識の認識を追加する等が挙げられる． *参考文献 [#v9702ef4] [1] 松尾,上田,梅田,”道路情景画像からの速度標識の抽出の検討” 情報処理学会第 50 回 (平成 7 年前期)全国大会,1D-6~ [2] “opencv.jp” (2016), http://opencv.jp/ (access Jan 28,2018).
