![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
「つくばチャレンジ」という，公開実験がある．これは，2007 年から毎年実施されている，つくば市内の市街地で移動ロボットが自律走行する技術チャレンジであり，人々が普段使っている実環境における，自律走行技術の進歩を目的としている．この「つくばチャレンジ」では，例年課題コースの自律走行の必須課題に加えて, 選択課題が課されており，太田研究室では毎年参加している.
2020 年度は新型コロナウイルス感染症の影響により，実験走行および本走行は中止となった．そのため全チームに対する共通の課題等は設定されなかった．以下からは 2019 年度のコースや課題内容をもとに説明を行う．
2019 年度では，課題コースが約 2.5km となっており，コースは図 1 のようになっている. 選択課題として事前データ取得なし走行，信号認識横断，チェックポイント通過 + 経路封鎖迂回，探索対象発見が出題されている.
選択課題の信号認識横断はロボットが歩行者用信号と自動車の状況を認識して横断開始する必要がある．そのため, ロボットは歩行者用信号が赤であるのか緑であるのか，また横断歩道は渡れる状態になっているのかを認識しなければならない．今回はその中の歩行者用信号の状態変化の検出を目的とし研究を行った．
本研究では，信号機の状態の変化を，異なる時刻での撮影画像から生成した差分画像をもとに検出を行った．また，共通のテンプレート画像を用い，テンプレートマッチングにより検出を行うため，機械学習などに比べて，低い計算コストで実装が可能である．
本研究は防衛大学校の冨沢哲雄氏による”Using Difference Images to Detect Pedestrian Signal Changes” という先行研究を参考にしている．この先行研究では，差分画像とテンプレートマッチングを用いて LED 式歩行者用信号機の状態変化の検出を行っている．本研究では，同様の手法で複数の異なる交差点に対して共通のテンプレート画像を用い，電球式歩行者用信号機での状態変化の検出を行う．
提案手法では，異なる時刻に同位置にて撮影した 2 枚の画像を用いて差分画像を生成し，その画像から，信号機の状態変化を検出する．提案手法の大まかな流れを以下に示す．
以下で処理の詳細と用いたアルゴリズムについて述べる．
本研究では，信号機の状態変化の検出を行う際に差分画像を用いる．ここで用いる差分画像とは，2 枚の画像の対応する画素に以下の式を適用して生成した画像のことである．
Rcは現在の画像のR値，Rpは過去の画像のR値である．どちらも0から255までの値を持つ8ビットの数値でG,Bも同様である．式により，導出された差分画像は，次のような特徴をもつ．
1.変化のない画素は灰色になる
2.信号変化前後の差分画像には表示灯の位置に特徴的なパターンが出現する
3.移動する物体によって生じる差分は信号表示の変化による差分のパターンとは異なる
これら 3 つの特徴を活かして信号機の状態変化の検出を行う．
日本の歩行者用信号機は，赤・緑・消灯の3つの状態を組み合わせた図6のようなA～Fの6つの状態変化をもつ．赤から緑の状態変化はA,緑から赤の状態変化はBとなる．緑の点滅状態はCとDの繰り返しとなり，その後信号機によって異なるが，消灯から赤の状態変化Eまたは緑から赤の状態変化Bを経由し，赤信号へ変化する．なお日本の歩行者用信号機では赤から消灯の状態変化Fは基本的に発生しないが，便宜上記載している．
図5のようなA～Fの状態変化が起きている2枚の画像に対し，上で紹介した式(1)～(3)を適用すると，図5のA～Fに対応した特徴的なパターンが生成される．図6に図5のそれぞれA～Fに対応する特徴的なパターンを示した．
つまり，信号機の状態変化を検出するには，図7で示したような特徴的なパターンが差分画像内に現れたかどうかを検出すれば良い．そこで，検出の手法として本研究では，テンプレートマッチングを用いた．
テンプレートマッチングに用いるテンプレート画像の生成について説明する．まず，状態変化A（赤→緑）の前後の歩行者用信号機をあらかじめ撮影し，その2枚の画像から上で紹介した式(1)～(3)を適用し，差分画像を生成する．実際の画像とその画像から生成された差分画像を図7に示す．
生成された差分画像内に図6の状態変化Aと同じような特徴的なパターンが出現していることがわかる．この特徴的なパターンの周囲を矩形で切り取ったものを，状態変化Aを検出するためのテンプレート画像Aとして利用する．
このテンプレート画像Aに対し，画像処理を行うことで，他の状態変化に対応するテンプレート画像を作成することができる．
まず，状態変化D（消灯→緑）のテンプレート画像Dは，テンプレート画像Aの上半分を灰色で塗りつぶすことで生成する．状態変化F（赤→消灯）のテンプレート画像Fは，テンプレート画像Aの下半分を同様に灰色で塗りつぶすことで生成する．そして，テンプレート画像A・D・Fのネガポジ変換により状態変化B・C・Eに対応したテンプレート画像B・C・Eを生成することができる．テンプレート画像Aから他の状態遷移に対応するテンプレート画像を生成するステップを図8に示す．
まず，テンプレートマッチングとはテンプレート画像と入力画像を用意し，入力画像内にテンプレート画像と似た領域があるのか，または似た領域がないのかを調べる手法である．ここでの入力画像とは上で紹介した手法で生成した差分画像のことである．
撮影された画像から生成した差分画像に対し，生成したテンプレート画像を用いて，テンプレートマッチングを行う．テンプレートマッチングはスコアの算出方法にいくつかの種類があるが，ここでは明るさの変化に堅牢なZNCC(Zero-mean Normalized Cross Correlation)という計算手法を用いている．
そのため，正の相関があるときは+1に近く，負の相関があるときは−1に近い値を持つ．上で説明したように，テンプレート画像Aとテンプレート画像B，テンプレート画像Cとテンプレート画像D，テンプレート画像Eとテンプレート画像Fはそれぞれのネガポジ変換で作成されている．よってこれらの状態変化が発生した際のスコアは以下の表の傾向になる．
| 発生した状態変化 | テンプレート画像 | 相関係数 |
| A | A | +1へ近づく |
| B | A | -1へ近づく |
| C | D | -1へ近づく |
| D | D | +1へ近づく |
| E | F | -1へ近づく |
| F | F | +1へ近づく |
よって，A～Fの状態変化を検出するために，6つのテンプレート画像全てでテンプレートマッチングを行う必要はなく，テンプレート画像A・テンプレート画像D・テンプレート画像Fの3つを用いてテンプレートマッチングの最大値・最小値を求めることで6つの状態変化すべてを検出することができる．
本章では，提案手法に基づいて行った実験に関してデータセット，実験結果，検出結果について述べる．
本実験では，群馬大学桐生キャンパス周辺の交差点で撮影した1150枚の歩行者用信号機の画像を用いて実験を行う．画像は露出とホワイトバランスを信号機ごとに固定し，約1秒間隔で撮影した．これらの撮影画像1150枚から，差分画像を生成し，テンプレートマッチングを行っていく．
実験画像群に含まれる状態変化の内訳を以下の表に示す．
| 状態変化 | 枚数 |
| A（赤→緑） | 36 |
| B（緑→赤） | 16 |
| C（緑→消灯） | 13 |
| D（消灯→緑） | 5 |
| E（消灯→赤） | 7 |
| F（赤→消灯） | 0 |
まず，差分画像を生成し，信号機を検出するためのテンプレート画像を作成する．
テンプレートマッチングに用いるテンプレート画像は，信号機周辺を切り抜いたものを使用した．具体的には，歩行者用信号機が状態変化A（赤→緑）が発生した際の差分画像を用い，27pix×48pixに調節したもの1枚を使用した．
また，交差点によってカメラから信号機の位置が大きく異なり，画像内に写る信号機の大きさに差が出る．そこで同様のテンプレート画像でサイズ違いのものを3種類用意した．テンプレート画像のサイズは，38pix×67pix，27pix×48pix，14pix×24pixの3種類である．ここで用意したテンプレート画像のサイズは，実験画像群内に写る信号機の最大のサイズ・平均のサイズ・最小のサイズをもとに設定した．サイズ違いのテンプレート画像やテンプレート画像D,Fは状態変化A（赤→緑）が発生した際の差分画像から作成した27pix×48pixの1枚を加工し生成している．そして，この3種類のサイズ全てでテンプレートマッチングを行い，いずれかでしきい値を超えた場合，信号の状態変化が起きたと判定している．
今回の実験では，以下の条件で信号機の状態変化を判定した．
検出結果はわかりやすいように，状態変化ごとに色分けした矩形を差分画像内に表示させている．以下が状態変化と矩形の色分けの対応表である．
| 状態変化 | 色 |
| A（赤→緑） | 赤 |
| B（緑→赤） | 緑 |
| C（緑→消灯） | シアン |
| D（消灯→緑） | 青 |
| E（消灯→赤） | マゼンタ |
| F（赤→消灯） | イエロー |
今回の実験ではテンプレートマッチングを行う差分画像を2種類用意した．
一つは撮影された画像から生成された差分画像の信号機周辺を切り抜いたもの，もう一つは撮影された画像から生成された差分画像に対し，何も加工を行わないものである．
差分画像の信号機周辺を切り抜いたものは，しきい値0.00～0.70までを0.10刻みずつ，0.70～1.00まで0.05刻みずつで変化させ，検出率等の計測を行った．差分画像に何も加工を行わないものは，しきい値0.70,0.80,0.90の3種類で検出率等の計測を行った．テンプレート画像は2つとも同じものを用いた．
これらの実験データは検出位置の座標，スコアの値，検出した状態変化等をまとめ，CSVファイルに出力した．
今回は表3で示した矩形，出力されたCSVファイル，実際の撮影画像のこれらを見比べて，実際に信号機の状態変化が起きた際に正しく検出できているのかを確認した．正しい状態変化を検出ができている例を以下の図11に示す．
上記の図では信号が赤から緑に変化する際の特徴的なパターンを正しく検出できていることがわかる．次に誤った状態変化を検出した例を以下の図12に示す．
上記の図では歩行者を信号状態変化と誤って検出してしまった．次に信号機の状態変化を検出できなかった例を以下の図13に示す．
画像内に赤から緑に変化する際の特徴的なパターンが写っているのがわかるが，矩形が表示されず，検出できなかった．
実験の結果として差分画像上で，信号機の正しい状態変化が検出されたものをTP,何も変化していない状態で何も検出しなかった場合をTN,信号機以外の要因による状態変化の検出や信号機の誤った状態変化を検出してしまったものをFP，信号機の状態変化そのものを検出できなかった場合をFNとして扱う.TP,FPの捉え方として信号機の正しい状態変化そのものを検出できているかどうかでカウントを行う.そのため，TPとFPが混在する場合がある.
以下の図が実際にTPとFPが混在する例である．信号機の正しい状態変化B（緑色の矩形）を検出できているが，その他の信号機とは関係のない部分（シアンの矩形）で誤った判定が行われている．このような結果ではTPとFPを重複してカウントを行った．
この実験では，しきい値0.00～0.70までを0.10刻みずつ，0.70～1.00まで0.05刻みずつで変化させ，計測を行った．各しきい値でのTP・TN・FP・FNの結果を以下の表に示す．なお，以下の結果は状態変化A～Fすべてを合算した結果である．
| しきい値 | TP | TN | FP | FN | TPR(検出率)[%] | FPR(誤検出率)[%] |
| 0.00 | 76 | 0 | 1131 | 0 | 100.00 | 100.00 |
| 0.10 | 76 | 0 | 1131 | 0 | 100.00 | 100.00 |
| 0.20 | 76 | 0 | 1131 | 0 | 100.00 | 100.00 |
| 0.30 | 76 | 19 | 1112 | 0 | 100.00 | 98.32 |
| 0.40 | 76 | 274 | 857 | 0 | 100.00 | 75.77 |
| 0.50 | 76 | 643 | 488 | 0 | 100.00 | 43.15 |
| 0.60 | 76 | 869 | 260 | 0 | 100.00 | 23.03 |
| 0.70 | 75 | 1005 | 70 | 1 | 98.68 | 6.51 |
| 0.75 | 70 | 1045 | 13 | 6 | 92.11 | 1.23 |
| 0.80 | 69 | 1054 | 1 | 7 | 90.79 | 0.09 |
| 0.85 | 51 | 1055 | 0 | 25 | 67.11 | 0.00 |
| 0.90 | 19 | 1055 | 0 | 57 | 25.00 | 0.00 |
| 0.95 | 2 | 1055 | 0 | 74 | 2.63 | 0.00 |
| 1.00 | 0 | 1055 | 0 | 76 | 0.00 | 0.00 |
この実験では，しきい値0.70,0.80,0.90の3種類で計測を行った．各しきい値でのTP・TN・FP・FNの結果を以下の表に示す．なお，以下の結果は状態変化A～Fすべてを合算した結果である．
| しきい値 | TP | TN | FP | FN | TPR(検出率)[%] | FPR(誤検出率)[%] |
| 0.70 | 73 | 512 | 587 | 1 | 98.65 | 53.41 |
| 0.80 | 58 | 909 | 22 | 7 | 89.23 | 2.36 |
| 0.90 | 12 | 929 | 0 | 53 | 18.46 | 0.00 |
本章では, 提案手法に基づいて行った実験に関しての考察述べる.
