![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
[[太田研 公開用Wiki]] *色ヒストグラムの重み付けを利用した信号認識手法の提案 [#te0b4608] #contents *はじめに [#z7a60fe1] 近年、人間と同じ空間で人間と共存するロボットの需要が高まりつつある。 その一例としてつくばチャレンジという技術チャレンジがある。 つくばチャレンジでは遊歩道や公園といったコースを人間が操作することなくロボットに自律的に走行させることが課題となっている。 昨年行われたつくばチャレンジ2017においてはロボットの自律走行以外にも特定の服装をした人物の探索と歩行者用信号認識が課題とされた。 本研究では、歩行者用信号の認識の課題の目標として信号認識アルゴリズムの設計・実装を行った。 #ref(robot2.png) *従来手法 [#bc3cd0a6] **手法 [#if9013f5] 従来手法は以下のようになる。 1.画像からの色抽出 RGB表色系からHSV表色系に変換し、あらかじめ決められた色相(H)、彩度(S)から色抽出を行う。 ||Hue|Saturation|Value| |CENTER:赤信号|CENTER:0～2,172～179|CENTER:110～255|CENTER:-| |CENTER:青信号|CENTER:85～100|CENTER:100～255|CENTER:-| しかし、このままでは細かなノイズが含まれてしまうためメディアンフィルタを適用し、ノイズの除去を行う。 #ref(median.png) 2.特定色領域の探索 信号領域は使用したカメラでは10×10の矩形領域内に写ることから10×10のウインドウで探索を行う。10×10のウインドウの抽出された画素が10%～60%のとき信号と判定する。このようにすることで、ロボットの前を通過する人の服や車のような物体の誤検出を削減することができる。 3.誤検出の削減 カメラの露光時間を0.2ms、0.4ms、0.6ms、0.8ms、1.0msと5段階に変化させながら信号を撮影する。このようにすることで、信号が白飛びしてしまったり黒つぶれしてしまったりすることがあっても、画像の明るさを変化させることで信号を検出することができる。 このようにして、10フレーム中3フレーム同位置で検出できた場合に信号であると判定する。 **問題点 [#gdaf6e84] 従来手法では色抽出を行った際に、類似色物体も同様に抽出されてしまうことが問題となった。誤検出例としては、看板や建物といったものが挙げられる。 #ref(error.png) *提案手法 [#b2194a16] 従来手法では、信号付近に近い色、信号と大きさの同じ移動しない物体が存在すると誤検出することがあった。提案手法では色ヒストグラムの重み付けを利用することで、処理が高速でかつ高い認識精度を有する信号認識を実現した。 **色ヒストグラムの作成 [#j1bc0abb] 本手法ではあらかじめ得られた信号機の色ヒストグラムを用いて信号認識を行う。 ここでは、使用した色ヒストグラムについて詳しく述べる。 本手法でのヒストグラムの作成手順は以下のようになる。 1.赤・青それぞれの信号のサンプルを集め色相のヒストグラムを作成 信号部分を切り出したサンプル画像から点灯部分の色相からヒストグラムを作成する。 2.最大値が1となるように正規化 3.色ヒストグラムを2乗 発生頻度の高い色相の重み付けを強くするために頻度を2乗する。 #ref(./hist_red2.png,50%) #ref(./hist_blue2.png,50%) **色抽出と重み付け [#ka1f6e5a] 従来手法では色相、彩度それぞれに閾値を決め色抽出を行った。そのため信号以外の物体もこの閾値内であれば抽出されてしまう。しかし抽出色に対して色ヒストグラムの重み付けをすることで、類似色ではあるが色ヒストグラムの特徴が異なる物体を除去することができる。 本手法ではまずはじめに従来手法と同様の閾値から色抽出を行い二値画像を作成する。その二値画像の1となる画素の色相を調べ、前節の色ヒストグラムから対応する重みを付加していく。 このようにすることで、信号領域には強い重み付けを加え、類似色物体には弱い重み付けを加えることで、誤検出の削減を行う。 #ref(./weighting.png,50%) #ref(./weighting.png) **信号領域の探索 [#r1319dec] 信号領域は使用したカメラでは10×10のウインドウ内に信号が写りこむ。そこで、10×10のウインドウで探索を行う。10×10のウインドウ内で重みの合計値が一定以上の場合、信号として判定を行う。 その後、従来手法と同様に信号領域の大きさを判定し、10フレーム中3フレーム同位置で検出できた場合、信号と判定するものとする。 *実験 [#q6d1337c] **信号認識処理実験 [#b6721751] 信号認識実験に用いた信号機画像は赤信号、青信号それぞれ50セットを用意した。画像セットは露光時間を5段階に変化させながら連続で撮影した画像10枚を1セットとする。なお、画像撮影を行った地点は3地点で天候は晴れと曇りの2種類の状態が含まれる。 このような画像セットを用いて、信号認識精度を検証する。信号の探索範囲を画像の上半分として従来手法と提案手法の比較を行う。 結果を以下に示す。 ||>|従来手法|>|提案手法| |CENTER:信号|CENTER:赤|CENTER:青|CENTER:赤|CENTER:青| |CENTER:画像セット数|CENTER:50|CENTER:50|CENTER:50|CENTER:50| |CENTER:正常検出|CENTER:0|CENTER:11|CENTER:41|CENTER:34| |CENTER:誤検出|CENTER:19|CENTER:16|CENTER:6|CENTER:2| |CENTER:未検出|CENTER:31|CENTER:23|CENTER:3|CENTER:14| 信号認識において誤検出は大きな問題となるが未検出は大きな問題とはならない。そこで、提案手法では誤検出を抑えるように設定を行った。そのため、青信号における未検出は多くなってしまっていることがわかる。 しかし、提案手法により青信号、赤信号のどちらにおいても検出率が向上していることがわかる。 また、提案手法による誤検出はすべて同じ物体での誤検出となった。誤検出例を以下に示す。 #ref(carrrrrrr.png) この物体の色ヒストグラムは赤信号の色ヒストグラムと酷似していた誤検出となった。色ヒストグラムが酷似してしまっているため、このような誤検出の削減は非常に困難となる。そこで、今後は、他手法と本手法を組み合わせるなどして信号認識の精度を上げていきたいと考えている。 **処理速度実験 [#s61d1456] 信号認識処理実験と同様の画像セットを用いて信号認識処理速度の測定を行う。 信号が写りこむ位置はある程度決まっているため、信号探索をおこなう範囲を264×130の矩形として実験を行った。 結果を以下に示す。 ||>|従来手法|>|提案手法| |CENTER:PC種類|CENTER:ベアボーンPC|CENTER:ノートPC|CENTER:ベアボーンPC|CENTER:ノートPC| |CENTER:CPU|CENTER:i3-4170,3.7GHz|CENTER:i7-3632QM,2.2GHz|CENTER:i3-4170,3.7GHz|CENTER:i7-3632QM,2.2GHz| |CENTER:実行時間|CENTER:42.9ms|CENTER:62.4ms|CENTER:56.0ms|CENTER:94.0ms| 提案手法は従来手法に比べて処理時間が1.5倍ほどと遅くなっていることがわかる。しかし、約20FPSほどで処理できていることからロボットへの実装には十分であると考えられる。また、さらに高速化を図ることでさらに実用的にしていきたいと考える。 *まとめ [#i421d2f2] 本論文では、色ヒストグラムを利用した信号認識手法として、カメラ画像から特定色のみを抽出し、色ヒストグラムから重み付けをベースに信号を検出し、誤検出の除去を加える信号認識手法を提案した。 提案手法では、従来手法のような高速な処理を行い、さらに認識率を高めることを目的とした。 色相と彩度を用いた特定色の抽出では類似色物体が同時に抽出されてしまうが、色ヒストグラムの重み付けを利用することで、信号の色ヒストグラムと類似した物体を除去し、信号がより安定して検出されるようになった。 また、カメラの露光時間をプログラム上で変化させながら信号を撮影し、10フレーム中3フレーム信号を検出時に信号と判定することによって、発光している信号のみを安定して認識することができた。さらに、信号は移動しないということを利用して一定位置で検出することを判定条件として設定したが、移動体を検出するだけでなく、類似色物体が検出されてしまった際に、露光時間の変化により検出位置が変化し、結果として誤検出の削減につなげることができた。 処理速度に関しては、従来手法よりも低下しているものの十分高速に動作しているいえる。 移動ロボットの歩行者用信号の認識に関しての報告例は学習的手法が多くを占めているため、 学習的手法と認識精度と処理速度を比較することで、本手法の優位性をより明確にしていきたいと考えている。 今後の課題としては、信号と酷似した色ヒストグラムの物体との誤検出を削減することが挙げられる。この課題に対しては、信号の候補領域を本手法で決定し、学習的手法により検証するなど、他の手法と組み合わせることで高速に処理しつつ、認識精度を高めることができると考えられる。 *参考文献 [#x8274716] [1]“つくばチャレンジ”，http://www.tsukubachallenge.jp/，(access Jan 31,2018) ~[2]阪東茂,中林達彦,川本駿,椎名誠,阪東華子,“つくばチャレンジ2017における土浦プロジェクトの取り組み”,つくばチャレンジ2017参加レポート集,pp3-10,2018 ~[3]今井勝,重松康祐,小西裕一,山崎佑太,坪内孝司,“つくば大学知能ロボット研究室チームMASARUの取り組み”,つくばチャレンジ2017参加レポート集,pp.176-180,2018 ~[4]的場やすし,文光石,西島愛,“LED信号機の点滅を利用した視覚障がい者用信号機情報提示スマートフォンアプリの開発”,情報処理学会インタラクション2017論文集,pp.799-802,2017 ~[5]須田雄大,鹿貫悠多,小木津武樹,太田直哉,“色情報を用いた低演算コスト歩行者用信号認識手法の提案”,計測自動制御学会SI部門講演会 SICE-SI2017予稿集,pp1964-1967,2017
