色情報による駐車禁止標識の検出

太田研 公開用Wiki

T190D018 大塩達也†

色情報を用いた駐車禁止標識の抽出†

はじめに†

　道路交通法第45条において駐車を禁止する場所が定められており、2021年において全国駐車違反件[1]が警察庁から発表されている。この全国駐車違反件数は、14万8534件にも及ぶ。この件数を減らすためには、駐車禁止区間を自動で認識して教えてくれるようなシステムがあればよいと考えた。このとき着目したのが、駐車禁止標識である。 　駐車禁止標識とは、図1の左側に写っている標識であり、駐車禁止区間であることを表す。この標識には赤色の円形のなかに青色が含まれていて、その円形を左上から斜め右下方向へ分断するような赤色の線分がある。本研究では、これらの特徴を用いた色情報による駐車禁止標識の検出方法を提案する。また、車載カメラから得た映像から駐車禁止区間と区間外の画像一定枚数を取り出し、この検出方法を試すことで検出率と精度の確認を行った。

標識認識手法†

検出の流れ†

　本研究では車内から撮影した映像を駐車禁止区間内外で抜き出し、切り取った画像から、色抽出とラベリングによって候補となる赤色領域と青色領域をそれぞれ抽出。その後、これら2つの領域の位置情報、形状情報によって標識を検出する。検出の流れを図2.1に示す。以下に検出の流れに沿って詳細を説明する。

前処理†

　本研究では、実環境下での使用を想定しているため、天候や陰などによる色情報への影響を考える必要がある。そのため、図2.2のように赤色領域抽出、青色領域抽出を行う前に４つの色調補正を行っており、次から詳しい処理について説明する。

1.ルックアップテーブル†

　候補領域は、赤色領域抽出と青色領域抽出によって定められるため影などによって色抽出が不十分であった場合、十分な抽出ができない可能性がある。そこで、ガンマ補正をルックアップテーブルによって行うことによって、画像全体を明るくした。ルックアップテーブルとは、以下の式に任意のγの値と入力画像の輝度の値を入れることによって算出された値を出力画像の輝度の値にするものである。また、本研究ではγの値は2.0としている。

2.彩度†

　次に、色彩の調整を行う。そのために用いたのがHSV表色系の3つの値の1つの彩度である。これによって、標識の劣化による色の薄さをある程度抽出できるようにしている。このときに用いた計算式は以下のようになっており、入力の彩度と任意の値ｓ用いて、出力の彩度を計算している。また、本研究では、ｓの値を1.5としている。

3.メディアンフィルタ†

　次に、ノイズを除去するためにメディアンフィルタを行った。メディアンフィルタとは、ある画素を中心とした周りの画素値を比較していき、その中で中央値であったものをある画素の画素値にするフィルタである。このフィルタはゴマ塩ノイズなどを除去するためによく使われる。また、中心から半径1画素が探索範囲の3×3ものと2画素の5×5ものがあり、本研究では5×5のメディアンフィルタを用いている。

4.エッジ強調†

　次に、これらの操作を行ったことによってあいまいになってしまった境界を強調するために、鮮鋭化フィルタを用いてエッジ強調を行った。鮮鋭化フィルタとは、画像の画素値の変化を強調することによって、エッジを強調できるフィルタ処理である。このときに用いた３×３カーネルは、定数ｋを用いて図2.2.4のようになっている。

色領域抽出†

　駐車禁止標識には、赤色の中に青色があるという特徴がある。これを活用するために、赤色領域にないに青色領域があるものを探索する必要がある。準備段階の赤色領域抽出と青色領域抽出に用いたのが、色抽出とラベリングであり、その結果図2.3のようになっており、次から処理について詳しく説明する。

1.色抽出†

　色抽出とは、画像に含まれる画素値の範囲や差を用いることによって、特定の色を取り出したいときに用いられる。元画像の表示には赤、青、緑という3つの色の値が使われている。これらのような色の表し方をRGB表色系といい、本研究ではその数値を用いて色抽出するための色の範囲の条件を設定している。このときの条件赤色、青色それぞれこのようになった。

2.ラベリング†

　ラベリングとは、二値化画像に対して黒は0、白領域に対して画素の連結情報をもとに１からラベルと割り振っていく処理である。本研究では、ラベリング処理によって出てくる赤色領域と青色領域の位置情報によって候補領域を絞り出したいので、ラベリング処理を用いた。また、今回は各色領域で2回ずつラベリングを行っていて、一回目は普通にラベリング処理を行い、そこから出てきた面積情報によって除去条件に適したラベリングを削除してもう一回ラベリングを行っている。除去条件は以下のようになっている。

位置形状情報による選別†

　本研究においての位置形状情報による選別とは、ラベリング処理で出てきた位置情報や色抽出によって出た形状情報を用いて選別を行っていく処理である。本研究では、この選別を種類ごと3段階に分けて設定しており、その段階が図2.4のようになっている。

1.座標による選別†

　本研究において、座標による選別とはラベリング処理によってできた赤色領域と青色領域の位置情報を用いて、赤色領域内に青色領域が収まっているときにその2つのラベルを保存する処理である。ここでいう赤色領域内に青色領域が収まっている状態というのはこのようになっている。 状態：赤色領域左上座標 ＜ 青色領域左上座標, 赤色領域右下座標 ＞ 青色領域右下座標これによって得られた結果が図2.4.1のようになっている。

2.内包による選別†

　本研究において、内包による選別とは座標による選別で選別された候補領域の赤色領域に対して楕円フィッティングを行い、赤色領域を包むような楕円を設定、楕円内の赤色領域、青色領域と候補領域内の赤色領域、青色領域との割合をそれぞれ求め一定以上の値であれば選別される処理である。このときの一定以上の割合とは赤色領域と青色領域それぞれ以下のようになっている。また、本研究ではこの処理を用いることで図2.4.2のような赤色領域に青色領域がかぶってしまったものに対して、除外を行うことができる。このとき行った詳しい処理について以下で説明する。

赤色領域：85%以上 青色領域：80％以上

2.1.楕円フィッティング†

　楕円フィッティングとは、対象の物体が写った二値化画像に対して楕円の近似を行い、その結果を指定した画像上に描くことができるものである。本研究では、この楕円近似によって求められた楕円の領域内と赤色領域内との割合を出すために用いた。このときの結果が図2.4.2.1のようになっている。

3.形状による選別†

　本研究において、形状による選別とは内包による選別によって選別された候補領域の青色領域に対して、エッジ検出をかけ輪郭線を抽出し、直線検出からペアを探し出すことにより候補領域内に駐車禁止標識の斜め線があるかどうか探す処理である。本研究ではこの処理を行うことで、駐車禁止標識以外の似ている図2.4.3[2]のような形状でも除去できるようになっている。本研究では、前処理や領域抽出によって大まかな候補領域を絞っているため、エッジ検出によっての選別を行う必要がないと考え、弱いエッジでも抽出できるようなエッジ検出としてCanny氏が提案した手法を用いている。 また、本研究で赤色領域ではなく青色領域を直線検出の対象としているのには、実環境下において赤色領域が標識の風化や日陰などの影響により、色抽出による色の欠落が多く発生しているのに対し、青色領域は色の欠落が少ないという理由がある。 このとき行った処理の詳しい流れを以下から説明する。

3.1.直線検出†

　直線検出とは、エッジ検出された画像に対して直線を見つけ出すために行われる処理のことで、本研究ではハフ変換を用いている。ハフ変換とは、エッジ検出後の白画素内のある点(x, y)を通る直線を考えたときに、無数の直線があると考えられる。そのときの直線はこのような式で表すことができる。

このような(ρ, θ)をエッジ検出内の白画素内の点すべてに対し計算すると、画像内の直線に近い(ρ, θ)が多く算出される。この特性を用いて、ある一定の閾値回数以上が出た(ρ, θ)は直線であると判定し、指定した画像に描写することができる。本研究での具体的な閾値は35となっていて、実際の結果が図2.4.3.1のようになっている。

3.2. ペア検出†

　本研究においてのペア検出とは、前述の(ρ, θ)を用いてペアの条件を指定し、その条件に適した2本の直線をペアと定義して保存、保存されたペア群に対して近傍のペアを除去する条件を設定し、その設定に適したペアを除去する処理である。本研究では駐車禁止標識の特徴的な形状である斜線を見つけるためにこの処理を行っている。この処理を行った結果が図2.4.3.2であり、本研究でのペアの定義と除去条件がこのようになっている。このときの数式は実際の研究に用いた閾値のなかで最も適していたものを関数として再現し条件に用いている。また、本研究ではOpenCVでハフ変換を行う際のthresholdを30に設定している。

判別†

　これらの一連の処理から、ある一定の基準４つを持って、候補領域が駐車禁止標識であると判断している。その基準は以下のようになっている。

1. 赤領域内の青色領域が二つ 2. 直線のペアが1つ 3. 内包している赤の割合85％以上 4. 内包している青の割合80％以上  

評価実験†

実験方法†

　群馬県内でドライブレコーダーによって撮影された動画から駐車禁止標識区間33区間を抜き出し、その動画を毎秒10フレームほどの画像として書き出す。また、区間外の誤検出があるか確認するために区間外の画像300枚加える。これら標識がある画像264枚、標識がない画像896枚の計1160枚で第2章の提案手法を用いて検出実験を行った。

実験結果†

　1枚ごとの実験結果と1区間ごとの実験結果を表3.2に記す。

　検出に成功した例を図3.2に示す。また検出した標識には赤色の矩形で表している。

考察†

誤検出例†

　図4.1[1]は検出実験の際に起こった誤検出である。実際に図4.1[1]のラベリングである図4.1[2]を見ると、青の領域が白文字と赤い柱よって途切れ、2つに分かれてしまったことによって起こってしまったことが分かる。これの対策として、ラベリングを用いたときの除去条件のラベリングの範囲を狭めることによって解決すると考えられる。

未検出例†

　図4.2は、未検出例である。実際に結果画像の図4.2を見ると、元画像の標識が陰に入ってしまったことによって、標識の色抽出が不鮮明になっていることが確認できる。対策としては、色抽出の条件である色の画素数の差を小さくすることや色調補正をより一層強めることが考えられる。

まとめ†

　本稿では、色情報による駐車禁止標識の検出手法を提案した。提案手法では、影などに対策をとれるような色調補正を行い、色情報を用いて赤色領域、青色領域を抽出する。次に、ラベリングを用いて領域面積の範囲を限定し除去、位置情報を用いて候補領域を割り出す。最後に、楕円フィッティングによる割合を計算し、その領域の形状情報を用いて標識を検出する。

　実際に実験を行った結果、提案手法は一枚ごとの評価では検出率20.8％、精度98.2%となり、区間としての評価では検出率78.8%、精度96.3%となった。精度は高精度なものであることが確認できた。だが、色調補正を行っていても影などの環境による変化や物体の写り方によって検出できないことがわかった。これにより、今後の課題としては、前述した未検出例や誤検出例を減らすためのラベリング値の再考、色調補正、色抽出の調整などが考えられる。

参考文献†

[1] “警察庁「交通死亡事故の発生状況及び道路交通法違反取締り状況等について」” https://www.npa.go.jp/publications/statistics/koutsuu/toukeihyo.html

[2]”国土交通省　道路標識一覧” https://www.mlit.go.jp/road/sign/sign/douro/ichiran.pdf

[3]“OpenCV2 プログラミングブック Chapter.3 リファレンス編” https://book.mynavi.jp/support/pc/opencv2/c3/#

[4]“岡山理科大学 工学部 電気電子システム学科 太田研究室 Processing 画像処理演習” http://cvwww.ee.ous.ac.jp/processing_prog/

最新の10件