つくばチャレンジに向けた色情報とHOG特徴を用いた歩行者用信号認識手法の開発 の履歴(No.3)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• つくばチャレンジに向けた色情報とHOG特徴を用いた歩行者用信号認識手法の開発 へ行く。
  • 1 (2022-02-17 (木) 23:31:56)
  • 2 (2022-02-18 (金) 01:13:18)
  • 3 (2022-02-21 (月) 03:59:14)
  • 4 (2022-02-22 (火) 02:14:06)
  • 5 (2022-02-22 (火) 02:24:29)
  • 6 (2022-02-22 (火) 06:21:56)

---

太田研 公開用Wiki

はじめに†

研究背景†

近年,産業用ロボットなどの特別な環境下での実用を目的としたロボットだけでなく,家庭用ロボットなどの人間の身近な環境下での実用を目的としたロボットの研究開発が盛んに行われている.その一例として,2007年から毎年茨城県つくば市内で開催されている「つくばチャレンジ」と呼ばれる技術チャレンジがある.つくばチャレンジとは,人間が普段利用している遊歩道等がある市街地,公園や駅などといった,実環境下におけるロボットの自律走行技術の向上を目的とした公開実験の場である.例年主に大学の研究室や企業が参加しており,参加チームそれぞれが開発及び実験を行っている.参加者達はそれらで得た結果や経験を互いに共有することでロボットの自律走行技術を発展させている.

例年つくばチャレンジでは,全参加チームが取り組むこととなっている 必須課題と,参加チームそれぞれが任意で選択して取り組む 選択課題が用意されており,昨年行われたつくばチャレンジ2021でも 例年同様必須課題と選択課題が課された.必須課題ではつくば市役所構内をスタート地点とし,そこから研究学園駅を通過して研究学園駅前公園内に入り,公園内を一周して再び市役所構内に戻ってくるまでの課題コース約2.5kmを自律走行することが課された.選択課題では4つの課題が課された.1つ目がつくば市役所構内を事前のログデータを用いずに走行 する,「事前データ取得なし走行」の課題である.2つ目が,研究学園駅前公園内の「チェックポイント」と呼ばれる定められた地点の通過と,経路封鎖看板を認識してロボットに迂回をさせる「チェックポイント通過と経路封鎖迂回」の課題である.3つ目が研究学園駅前公園内に設置されている探索対象である複数のマネキンを検出する「探索対象発見」の課題である.4つ目が,コース内の交差点でロボットに歩行者用信号機の灯火状態を認識させ, 横断を開始する,「信号認識横断」の課題である.

本研究では,この信号認識横断課題の達成を目標とした歩行者用信号認識手法の開発を行った.

研究目的†

例年,信号認識横断に取り組むチームの多くが深層学習を利用した物体検出手法 を用いていることが報告されている.このような深層学習を利用した手法をリアルタイムで実行するには高性能なGPUを搭載したコンピュータが必要となるため,小型のロボットのような搭載可能な計算資源が限られているロボットで実行することは困難である.そこで本研究では深層学習による手法をリアルタイムで実行するほどの計算資源を確保できない 場合でも精度を大きく損なわずにリアルタイム検出が可能な歩行者用信号認識手法の開発を目指した.

なお,信号認識横断を実施する交差点には近年普及が進んでいるLED型の信号機ではなく,白熱電球型の信号機が設置されているため,本研究における検出対象は白熱電球型の歩行者用信号機に限定する.

従来手法†

従来の処理が軽量な信号認識手法として色情報を用いた手法がある.この手法ではまず入力画像から信号の色(緑及び赤)と類似した色の領域を抽出し,ラベリング処理と領域の大きさを確認することで信号の候補となる領域を特定する.その後図3のような色相特徴を用いて各候補領域が信号であるかどうかの分類を行い,信号の状態を検出する.

従来手法でも信号の状態を検出することは可能であるが,候補領域の特定と分類の両方に 色を用いることから図4のような緑のビブスや車のテールランプなどといった信号の色と類似した色の物体を誤検出してしまう場合がある.

色情報とHOG特徴を用いた歩行者用信号認識手法†

提案手法†

本手法では歩行者用信号の灯火部分に人型領域があることに注目し,そこから形状特徴を算出できるのではないかと考え,候補領域の分類に形状特徴を用いることとした.このように候補領域の分類に形状特徴を用いることで従来手法で発生していた類似色物体の誤検出を削減することを試みた.形状特徴の算出には照明変化に堅牢であり,計算コストも比較的軽量である点からHOG特徴を使用した.

本手法ではまず従来手法と同様に信号の緑や赤といった信号色を画像から抽出する.その後抽出された領域に対してHOG特徴の算出を行い,そのHOG特徴をSVM(Support Vector Machine)と呼ばれる計算コストが軽量な機械学習モデルで事前に作成した識別器に与えることで灯火状態の判定を行う.なお識別器の作成では,信号の灯火領域から算出されたHOG特徴をヒストグラム化したデータをSVMで学習させて識別器を作成する.このようにシンプルな画像処理と計算コストが軽量な機械学習手法を組み合わせることで精度を大きく損なわずにリアルタイム検出が可能な手法の実現を目指した.

画像からの信号色抽出†

本手法ではまず画像の色を色相(Hue),彩度(Saturation),明度(Value)の3つのパラメータで表現するHSV表色系を用いて入力画像内の信号領域を抽出する.具体的には,RGB表色系の入力画像をHSV表色系に変換し,表1のように予め実験的に設定したHue,Saturation,Valueの閾値内に存在する画素値のみを抽出した2値画像を作成して信号色(緑及び赤)を抽出する.この際に雑草や芝生,空のような類似色物体がノイズとして検出されてしまうため,メディアンフィルタを画像全体に適用して平滑化処理を行い,ノイズの除去を行った. また,領域の欠損を埋める膨張収縮処理も行った.図5に表1の閾値を用いて信号色の抽出を行った例を示す.

信号の候補領域の特定†

HOG特徴による信号候補領域の形状特徴算出†

SVMによる灯火状態の判定†