![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
[[太田研 公開用Wiki]] *色情報と形状特徴を用いた道路交通標識の認識手法の提案 [#e5bf02d8] #contents *はじめに [#ve114bfd] 交通事故には, 自動車のドライバーの認知・判断の遅れが原因で起こるものがある. これを未然に防ぐために安全運転支援システムの開発が行われている. このシステムではカメラで自動車の前方を撮影し, 画像処理で状況を解析することによりドライバーに注意を促す. システムでの検出すべき対象には歩行者や障害物,車線や標識,信号機などがあるが 今回はその中でも標識について着目し,その認識について考える.~ 標識の認識手法には色情報や形状特徴を用いたものや機械学習によるものなど多数存在するが,安全運転支援システムではリアルタイムでの処理が求められる. 佐々木氏らは形状特徴を用いたアルゴリズムの中でも高速とされているSURF(Speeded Up Robust Features)にエッジ画像と色情報を 佐々木氏らは形状特徴を用いたアルゴリズムの中でも高速とされているSURF(Speeded Up Robust Features)[2]にエッジ画像と色情報を 組み合わせることでもともとのSURFよりも高い認識率を得られる手法[1]を提案した.~ しかし実際に検証してみると, 太陽光の照明変動等による色の変化等が原因で, 実環境下での標識の認識精度は高いとはいえない.~ 本研究では, 上記の手法を従来手法とし従来手法をもとに, また基本的な手順は変更せずに 色の変化に影響を受けにくい実環境に適応した認識手法を提案する.~ *従来手法と問題点 [#m9343722] 従来手法の簡単な流れについて説明する. ここで標識画像, 車載カメラの画像を入力画像として用意する.~ まず, 入力画像中の色情報を用いて標識があるとする領域(以下, 認識候補領域)を検出しておく. 続いて入力画像のエッジ画像を作成する. マッチングに入力画像ではなくエッジ画像を用いることによって入力画像から特徴点を検出するより 多くの特徴点を検出することが出来る.このとき入力画像のエッジ画像に対しSURFの特徴点を認識候補領域に該当する領域以外からは検出しないようにする.~ そして入力画像のエッジ画像から検された特徴点と標識画像から抽出された点のマッチングをとり, 標識が存在する部分を特定, 認識に至る. **SURF [#r8c28dce] SURF[2]とは一般に物体認識や検出などに用いられるアルゴリズムであり, 照明や回転, スケールに不変で処理速度に優れていることが特徴である.~ SURFとは一般に物体認識や検出などに用いられるアルゴリズムであり, 照明や回転, スケールに不変で処理速度に優れていることが特徴である.~ CENTER:#ref(Parro.jpg,center) CENTER:図1:~ CENTER:&size(12){図1:SURFによる特徴点検出と画像のマッチング};~ &br; LEFT:SURFは図1のように特徴点と呼ばれる物体の角や交点などの画像中の特徴となる点の検出を行い, もう1枚別に特徴点を検出した画像と2枚の対応をとることで認識を行う. 特徴点には周囲の画素の情報も含まれているため1枚目の画像から2枚目の画像の特徴点と似た特徴点を求めることができる.~ 従来手法では標識の画像にSURFを適用することで標識の認識を行う. **エッジ画像による特徴点の増加 [#ge6e7230] エッジとは, 画像中の色や明るさが急激に変化している部分のことである. 特に物体の持つ輪郭を示すことが多く, その検出は画像の1次微分や2次微分などを用いて行われるが,今回はCanny法[3]を用いた.~ SURFなど特徴点による画像の認識は検出したい特徴点が多いほど標識画像と一致するかの判断要素が増え, 標識の認識・識別が行いやすくなるため精度が向上する. そこで特徴点の数の増加が課題となるが, 従来手法では特徴点検出を入力画像からせず, 図2のような, 入力画像からエッジ検出した画像を用いることで特徴点の増加を図っている.~ #ref(ed.jpg,center) CENTER:図2:~ CENTER:&size(12){図2:入力画像とそのエッジ画像の例};~ &br; LEFT:標識は視認性を高めるように目立つ色で着色されており, 背景との境界がはっきり現れる. ゆえに背景と標識の間にはエッジが存在する. また, 描かれているシンボルもはっきり色分けされているためエッジが検出しやすい. 従って標識上に多くの特徴点を検出できる.図3は入力画像とそのエッジ画像の特徴点の比較画像である. #ref(ed2.jpg,center) CENTER:図3:~ CENTER:&size(12){図3:入力画像とそのエッジ画像の特徴点数の比較};~ &br; **色情報による認識候補領域の設定 [#r954b202] エッジ画像を用いることで特徴点を増やすことに成功し, より多くの特徴点での比較が可能となったが, 標識など認識したい物体以外の部分からも特徴点が多く検出されてしまう. 特徴点が多くなる分, 余分な特徴点も増加し,その点が多いほど特徴点の比較にも多くの時間がかかってしまう. そこで色情報を用いて認識候補領域を作成し, 画像上に現れる特徴点の絞り込みを行う. ***色の表色系と認識候補領域 [#r275b354] 認識候補領域を作成するために, まず入力画像中からRGB表色系によって標識の持つ色の抽出を行う. RGB表色系とはコンピュータのモニターなどにも用いられている赤(R)・緑(G)・青(B)の三原色によって幅広い色を再現する加法混色の一種である. ~ 標識を構成する色は赤・青・白としている. 従って画像中から赤と青を持つ画素を検出すればよい. ここで白色については画像中に物体が多く存在するため検出しない.~ 赤と青についてそれぞれ下のような条件を設定し, 該当する画素は白(255), そうでない画素は黒(0)として入力画像中の全画素から2色の検出を行う. -赤: Rの画素値がG,Bとそれぞれ30離れている~ -青: Bの画素値がR,Gとそれぞれ30離れている~ 図4は入力画像とそこから赤・青を抽出した結果の画像である. #ref(akaao.jpg,center) CENTER:図4:~ CENTER:&size(12){図4:色情報の抽出};~ &br; ***青空除外処理 [#u4d945fb] 入力画像によっては大きく空が写っているものがあり,そのような画像では空を検出するおそれがある. 空の部分を残したままでは画像中の空から検出された特徴点も残ってしまい誤認識の原因となる.~ 図4[b]上部分のような赤青抽出画像中に存在する標識よりも大きく横長な白い領域は空であると考えられる. そこで赤青抽出画像中の標識のサイズよりも大きい局所的な範囲の画素がすべて白であれば空とみなしその部分を黒く潰す.((画像中の注目画素を原点とした標識のサイズよりも大きい局所的な領域を作成する.そして作成した領域の画素を調べ領域すべての画素が255であればその領域の画素を0にし,次の局所的領域に移るという処理を行う.)) ***クロージング処理とメディアンフィルタ [#y0c232bc] 画像から赤と青の画素を抽出しただけの画像では標識内に隙間ができたり, 標識と似たような色を持つ物体など細かいノイズ(ごま塩ノイズ)や領域の切れ込みなどが多く存在する. このままでは標識の間にできた隙間によって認識候補領域に標識部分が入らず,標識が認識できなくなってしまう.~ そこでクロージング処理で隙間を埋め, メディアンフィルタを用いて細かなノイズを取り除き認識候補領域の形状を修正する. 図5は赤と青の画素を抽出後, 形状の修正まで終えた認識候補領域の最終的な形である. #ref(al.jpg,center) CENTER:図5:~ CENTER:&size(12){図5:認識候補領域};~ &br; **道路交通標識のマッチング [#bd47b95d] 以上の処理によってSURFでの検出が可能となる. エッジ画像を用いることで特徴点を増やし, 余分な点を認識候補領域により削除した入力画像のSURF特徴量と標識画像の特徴点のSURF特徴量を比較し, 対応点を求める(マッチング). そして対応した特徴点が標識画像に多く集まっていれば,標識画像が入力画像中に存在すると判断する.~ 図6[a]は図3[b]に認識候補領域を用いたものである. 図3[b]では大量にあった特徴点が認識候補領域に該当する部分のみに存在するようになり,標識の周辺に特徴点が集まっているのが確認できる. そしてこれと標識とのマッチングを行なった結果が図6[b]である. #ref(match.jpg,center) CENTER:図6:~ CENTER:&size(12){図6:色による特徴点絞込及びマッチング結果};~ &br; *提案手法 [#z6095d1f] 実環境下で従来手法を用いて標識の認識を行うと, マッチングに成功するより誤認識する画像の枚数の方が多い.誤認識の原因の多くが, 時間の経過や車の向きの変化等による照明の変化である.その他にも, 逆光などで認識漏れを起こしてしまう画像も多くあった.~ そこで認識候補領域の作成処理と未検出扱いの画像に手を加え, 従来手法の改善を行う. **色情報変更による効果 [#cbaeb870] 従来手法での誤認識の主な原因は照明の変化であり, 些細な光の変化によって認識候補領域が変化したり, 合わせて特徴点が変化してしまうことも多く見られた.~ そこで従来手法で用いたRGB表色系ではなく, RGB表色系から以下の式で求められるrg色度を用いる. #ref(shiki.jpg,center) rg色度は明るさを無視しているので明るさの影響を受けにくい. この式を赤青画素抽出条件を式化したものに代入, rについて表すと~ #ref(shiki2.jpg,center) という式を得る.提案手法ではこの条件で2色の抽出を行う. **認識候補領域の絞込 [#fc7c27b5] 認識候補領域の条件を色情報以外から加える.1つ目が探索範囲の指定, 2つ目に円形度・面積による絞込である. ***探索範囲の指定 [#e4199c90] 認識候補領域は画像全体から作成している. しかし, 車載カメラから撮影しているため, 画像下方には標識が存在するようなことはない. そのままだと画像下方に作成された認識候補領域中の特徴点とマッチングしてしまう可能性がある. #ref(s.jpg,center) CENTER:図7:~ CENTER:&size(12){図7:探索範囲の指定};~ &br; LEFT: そこで, 入力画像中の標識が図7の灰色部分にあるとして, 横：画像左端から65$\%$, 縦：上半分の部分に画像の探索範囲を指定する. 横：画像左端から65%, 縦：上半分の部分に画像の探索範囲を指定する. ここで画像の横幅にも制限を加えたのは自動車が左側走行のため標識も基本的に道路の左側に存在するからである. また,左折と右折をした場合を考慮し左半分ではなく65%部分とした. ***領域の円形度と面積による絞込 [#ub6e8ea8] 認識候補領域は赤青抽出画像に青空除外処理とクロージング処理, メディアンフィルタを用いて作成する. そのため色の抽出の具合によっては物体が変な形状で領域に出てしまったり,クロージング処理とメディアンフィルタでも取りきれなかったノイズも存在することがある.~ そこで各認識候補領域の輪郭情報から得た面積と周囲長から円形度を算出し,円形度で複雑な形状の領域, 面積で標識よりも小さい領域を取り除く. 円形度とはその図形がどれだけ円に近いかを示す値で以下の式で表される. #ref(shiki3.jpg,center) 円形度は0から1の範囲で値をとる. 真円で最大値１をとり,図形の形状が複雑になるほど値が小さくなっていく.~ 今回は認識候補領域中の複雑な形状の図形を取り除くことが目的なので円形度が0.25以下の領域を認識候補領域からはずす. **色味変更による再検出処理 [#t2cd520c] 日光の当たり方によっては標識自体の色が暗くなったり, 逆光で画像全体が白っぽくなることがある. このような場合, 標識がある画像でも認識されないことがあるので,対応する必要がある. そこで認識されなかった画像の全画素のRGB値に対し,R値を1.6倍, B値を0.9倍に変更することで画像の色味変更を行う.~ 色味変更を認識されなかった画像に対して行うことにより, 画像中の標識の色も元画像よりはっきりし, 画像全体の赤みが強くなり画像の明るさも変化する.~ 以上から認識候補領域の変化と, 更に特徴点の増加が見込まれる. 色味変更した画像に対し, 今までの処理をもう一度行うことで標識を改めて認識する. #ref(iro.jpg,center) CENTER:図8:~ CENTER:&size(12){図8:色味変更処理};~ &br; #ref(iro2.jpg,center) CENTER:図9:~ CENTER:&size(12){図9:色味変更後のマッチング};~ &br; *実験 [#j3dc9310] **実験方法 [#tc02e426] 従来手法と提案手法の性能を比較するために次の実験を行う. -「駐車禁止」による評価 -異なる標識画像による提案手法の評価 ***実験準備 [#y4da7950] 画像の認識率と処理時間を性能を比較するための評価項目とし, 認識率を以下のように定義する. #ref(shiki4.jpg,center) 各実験, 市街地を走行中の自動車から撮影した画像を用いる. 撮影時の画像の大きさは1920×1080であるが, 960×540に画像を縮小して使用している. ***「駐車禁止」による評価 [#kfe168c1] この実験では以下の画像を用いて従来手法・提案手法の性能の評価を行い,加えて提案手法の再検出処理がどれだけ有用なのかについても検討する. -[標識画像] 駐車禁止(61×60) -[入力画像] 駐車禁止が写っている画像100枚・写っていない画像100枚 #ref(nnp.jpg,center) CENTER:図10:~ CENTER:&size(12){図10:標識画像[駐車禁止]};~ &br; ***異なる標識画像による提案手法の評価 [#b68c703a] この実験では2種類の標識を用いて従来手法・提案手法の性能の評価を行う.使用画像は以下の通りである. 追い越し禁止 -[標識画像] 追い越し禁止(64×64) -[入力画像]「追い越し禁止」が写っている画像100枚・写っていない画像100枚 #ref(pps.jpg,center) CENTER:図11:~ CENTER:&size(12){図11:標識画像[追い越し禁止]};~ &br; 止まれ -[標識画像]止まれ (66×60) -[入力画像]「止まれ」が写っている画像100枚・写っていない画像100枚 #ref(sst.jpg,center) CENTER:図12:~ CENTER:&size(12){図12:標識画像[止まれ]};~ &br; **実験結果 [#z99cb8ce] ***「駐車禁止」による評価 [#q5e2bd4a] 認識率及び処理時間, 画像の内訳を表に表す. 左から従来手法・提案手法(再検出処理なし)・提案手法(再検出あり)となる. 表の1番下の項目は(標識有・未検出)画像の誤認識と未検出の内訳である. #ref(np.jpg,center) CENTER:表1:~ CENTER:&size(12){表1:駐車禁止};~ &br; LEFT:以下は結果の一例である. #ref(np2.jpg,center) CENTER:図13:従来手法と提案手法の比較~ CENTER:&size(12){図13:従来手法と提案手法の比較};~ &br; #ref(np3.jpg,center) CENTER:図14:再検出処理有り無し比較~ CENTER:&size(12){図14:再検出処理有り無し比較};~ &br; #ref(np4.jpg,center) CENTER:図15:誤認識・未検出例~ CENTER:&size(12){図15:誤認識・未検出例};~ &br; ***異なる標識画像による提案手法の評価 [#l04f0b42] なお, ここでの提案手法の実験は再検出処理有りを採用する. 追い越し禁止 #ref(ps.jpg,center) CENTER:表2:~ CENTER:&size(12){表2:追い越し禁止};~ &br; LEFT: 認識率及び処理時間, 画像の内訳を表に表す. また, 表の1番下の項目は(標識有・未検出)画像の誤認識と未検出の内訳である. 従来手法と比較すると処理時間は約半分になり, 認識率も上がって性能が良くなっていることがわかる. (標識有)画像での誤認識数に従来手法との変化がさほど見られないが色情報を変更し (標識無・未検出)数が増えたことが認識率が上がった理由である.以下, 実験を行った結果の一例である #ref(ps2.jpg,center) CENTER:図16:従来手法と提案手法の比較~ CENTER:&size(12){図16:従来手法と提案手法の比較};~ &br; #ref(ps3.jpg,center) CENTER:図17:誤認識・未検出例~ CENTER:&size(12){図17:誤認識・未検出例};~ &br; 止まれ 認識率及び処理時間, 画像の内訳を表に表す. また, 表の1番下の項目は(標識有・未検出)画像の誤認識と未検出の内訳である. #ref(st.jpg,center) CENTER:表3:~ CENTER:&size(12){表3:止まれ};~ &br; LEFT:表の一番下括弧内の(標識有・未検出)画像の誤認識と未検出の内訳をみると, 未検出画像が4枚出来てしまったものの誤認識数を大幅に削減できたことがわかる. また, (標識無・未検出)画像を増やすことに成功している. 処理時間もそうだが, 認識率が従来手法よりも高くなり性能が良くなっていることがわかる. 以下, 比較実験の結果の一例である. #ref(st2.jpg,center) CENTER:図18:従来手法と提案手法の比較~ CENTER:&size(12){図18:従来手法と提案手法の比較};~ &br; #ref(st3.jpg,center) CENTER:図19:誤認識・未検出例~ CENTER:&size(12){図19:誤認識・未検出例};~ &br; *考察 [#c0a023d8] **「駐車禁止」による評価 [#hc1448f6] 実験を行った結果, 提案手法の有用性を確認できた. 従来手法による実験の誤認識の原因を調べてみると実験に用いた画像の6割近くが色による誤認識となっていたが, 色情報をRGB表色系からrg色度に変更したことにより, それらの画像の誤認識を防ぐことが出来た.~ また, (標識有・未検出)数の削減と (標識無・未検出)数の増加に成功し, 再検出処理を行うことによって標識が写っている画像での提案手法の性能は向上したといえる.~ しかし,標識が写っていない画像では元々誤認識数が多かったとはいえ再検出処理有り無しそれぞれの結果を見ると, 標識が写っていない画像での誤認識の割合が1.3倍ほどになってしまった. これは正しく (標識無・未検出)と判定された画像も再検出処理されたため特徴点数が変化, 判定も変わってしまったことが原因だと考えられる.~ 標識が写っていない画像での内訳としては, 別の標識の認識をしてしまう割合が一番高く, 認識候補領域の色の抽出時に赤または青のみの標識でも領域の候補になることが原因である. また, 標識画像よりも大きな標識のある画像は認識候補領域にその標識が含まれ多くの特徴点が現れてしまうためそれらの対応も必要である. **異なる標識画像による提案手法の評価 [#mc61c107] 2つの結果を見ると, 「止まれ」では(標識有・検出)と(標識無・未検出)の和が従来手法の約4.6倍になり, 認識率は実験に用いた標識3種類の中で1番良い値となった. 用いた標識の中で「止まれ」は唯一日本語のシンボルである. そのため独特の形状によって, 検出される特徴点が他の標識より多いことが理由だと考えられる(図17).~ 一方, 「追い越し禁止」の結果を見ると他の標識よりも提案手法での認識率が低い. 「追い越し禁止」の標識の多くは「速度規制」などの標識と一緒に設置されており, その多くが「追い越し禁止」と同じく赤・青・白の3色で構成されている. そのためにrg色度でも抽出してしまい認識候補領域に含まれてしまうことが原因だと考えられる. #ref(3.jpg,center) CENTER:図20:~ CENTER:&size(12){図20:各標識画像で検出された特徴点};~ &br; *まとめ [#kbfea062] 本研究では車載カメラ画像を対象とした, 標識の認識手法を提案した. 提案手法では, 標識をエッジ画像と色情報によりSURFによって認識する従来手法を元に,エッジ検出やSURFによる処理はそのままに, 従来手法で用いた色情報の変更や 探索範囲の指定等を行ない認識精度の向上・処理時間の短縮を図った. ~ さらにこれらをプログラムで実装した後に実環境下での実験から提案手法の認識率と処理時間を求めることによって従来手法との比較を行った. その結果, 3種類の標識において提案手法は従来手法より性能が良いことがいえた. また, 認識率にさほど変化はないといえ, 再検出処理は標識が写っていない画像にたいしては効果があまり無く, 却って誤認識のもとになってしまう場合があった.~ しかし,再検出処理を行うことによって標識が写っている画像での提案手法の性能は向上したといえる. 今後の課題としては, -認識対象と同じ色の構成を持つ対象でない標識の誤認識対策 -標識が写っていない画像に対するの再検出処理の対応 -認識対象よりも大きい標識への誤認識対策~ などが挙げられる. また, 入力画像に対しても, 時間帯や場所等撮影するパターンや環境を増やし, より多くのデータを用意することも重要だと考える. *参考文献 [#n657dd82] [1] 佐々木栄裕, 今野峻一, 恒川佳隆, "エッジ画像と色情報を用いたSURFアルゴリズムの検討",計測自動制御学会東北支部 第280回研究集会(2013.5.29) 資料番号280-4.~ [2] Herbert Bay, Tinne Tuytelaars, Luc Van Gool, "SURF:Speeded Up Robust Features",computer vision-ECCV Lecture Notes in Computer Science, 2006.~ [3] J. Canny, "A Computational Approach To Edge Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol. 8, no. 6, pp. 679-714, Nov.~
