単眼画像からの深度マップを用いた障害物検出手法の提案
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[太田研 公開用Wiki]]
#contents
*単眼画像からの深度マップを用いた障害物検出手法の提案 [#t...
*はじめに [#ae461c77]
近年、自動車の自動運転技術の研究が盛んに行われている。自...
自動車の自動運転を実現する際に必要な機能の一つに様々なセ...
LiDARよりも安価なセンサーとしてはカメラがある。カメラを用...
そこで本研究では、近年の研究で単眼画像から作成できるよう...
*既存手法 [#s8493952]
カメラのみを用いて障害物を検出する手法としてはステレオマ...
**ステレオマッチング [#sd1a54f4]
ステレオマッチングは複数の画像から特徴点を抽出し、画像間...
徴点をマッチングさせて、その視差情報から物体までの距離を...
この手法は類似物体が存在する場面で特徴点をマッチングさせ...
#ref(stereo.png,center,60%)
CENTER:図1: 類似物体におけるステレオマッチング
**物体認識 [#jb01737b]
物体認識は機械に認識させたい物体の画像等を学習させ、物体...
見することで画像中から学習させた物体を検出する手法である...
には検出したい特定の物体のみを検出する特定物体認識と一般...
を検出する一般物体認識がある。車を例に上げると、特定物体...
もトラックだけを検出するが、一般物体認識はトラックだけに...
#ref(obj_recog_spe.png,center,40%);
CENTER:図2: 特定物体認識
#ref(obj_recog_gen.png,center,40%);
CENTER:図3: 一般物体認識
いずれの物体認識も学習させた物体の類似物体のみ検出するた...
が発生した場合に検出できないという問題がある。
以上の問題点を解決するために本研究では深度マップ及びエッ...
とで単眼画像から不特定障害物を検出できると考え新しい手法...
*提案手法 [#qc608f71]
提案手法の処理手順を図4に示す。
#ref(flow.png,center,100%)
CENTER:図4: 提案手法の処理手順
**深度マップの作成 [#qa92e758]
本研究では障害物までの距離情報を取得するために深度マップ...
#ref(depth.jpg,center,80%)
CENTER:図5: 深度マップ
**画像の入力 [#h61f28fe]
入力画像はグレー画像及びグレー画像に対応する深度マップと...
#ref(input.jpg,center,80%)
CENTER:図6: 入力画像
**近傍領域の抽出 [#u5961fa4]
本研究では障害物検出においてもっとも検出すべき対象である...
#ref(neighber.png,center,80%)
CENTER:図7: 近傍領域
**特徴点の抽出 [#bcdca0ed]
抽出した近傍領域には道路などの非障害物領域も残っているた...
#ref(feature_ori.png,center,80%)
CENTER:図8: 特徴点
**白線検出・除去 [#c4cf950c]
道路に存在する白線は道路のグレーに対し白であるので、エッ...
#ref(edge_bright.jpg,center,100%)
CENTER:図9: エッジ画像及び2値化画像
#ref(duplication.png,center,80%)
CENTER:図10: 重複部
重複部画像からハフ変換により検出された直線を白線とし、白...
#ref(wl_result.png,center,80%)
CENTER:図11: 白線検出結果
#ref(wl_remove.png,center,80%)
CENTER:図12: 白線部除去
#ref(feature.png,center,80%)
CENTER:図13:白線除去後の特徴点
**障害物領域検出 [#p0ae9745]
白線を除去した近傍領域から抽出された特徴点について近傍の...
#ref(obst.png,center,80%)
CENTER:図14: 障害物検出結果
*実験 [#kbc1b0ff]
**検出対象の定義及び実験方法 [#f5ebd794]
提案手法について評価するためにKITTIのデータセット「stereo...
検出対象の障害物を検出結果に近傍領域を重ねて描画した際に...
検出率:検出対象の障害物が検出された割合
検出率 = 検出された検出対象の障害物数 / 検出対象...
精度:障害物と判定された領域が実際に障害物である割合
精度 = 検出された検出対象の障害物数 / 総検出回数
#ref(success.jpg,center,80%)
CENTER:図15:検出成功例
**実験結果 [#l06fcf12]
実験結果を以下に示す。
CENTER:表1: 実験結果
|検出対象|検出|未検出|誤検出|
|398|337|61|128|
検出結果より算出した検出率及び精度を以下に示す。
CENTER:表2: 検出率及び精度
|検出率|精度|
|0.8467|0.7247|
表2より提案手法では検出対象の障害物を約85%検出することが...
*考察 [#l9be8982]
今回の実験において未検出、誤検出の原因としては特徴点不足...
図16では黒色の車両から特徴点が5つと少量しか検出されていな...
の物体が画像端にあることが原因と考えられる。今回の特徴点...
大きいエッジベースの特徴点を使用した。エッジは特に障害物...
れることが多い。そのため図の障害物が画面からはみ出してい...
物の輪郭情報が少なくなるため検出される特徴点が減少した。...
する際に横方向のみを走査したことも原因と考えられる。
本研究では画像を横方向のみに走査し特徴点を抽出している。...
方向に強いエッジを持つ画素のみを抽出している。輪郭部分以...
が少ない一様な障害物に関しては輪郭以外からは特徴点が抽出...
向のみであると物体の左端と右端からのみ特徴点が抽出される...
が足りず未検出となった。
#ref(featureless.jpg,center,80%)
CENTER:図16: 未検出例
図17ではでは影と道路の境界から特徴点が抽出されている。今...
ムは輝度値の変化量が大きい箇所を特徴点として検出した。暗...
の領域との輝度値の変化量が大きくなりやすいためその境界線...
抽出されやすいため誤検出の原因となった。
#ref(shadow.jpg,center,80%)
CENTER:図17: 影による誤検出
図18,19では破線や道路標示、トンネル内の白線を検出できてい...
白線検出では輝度値が220以上かつエッジが強い画素を抽出した...
以上の長さを持つ直線を白線として定義した。この条件では一...
くなる破線、複雑な形状を持っている道路標示(図18)、輝度値...
トンネル内や影が掛かっている白線(図19)などを検出できず、...
抽出され誤検出の原因となった。
#ref(wl_miss.jpg,center,80%)
CENTER:図18: 白線、道路標示による誤検出
#ref(tunnel.png,center,60%)
#ref(brightreduce.jpg,center,80%)
CENTER:図19: 輝度低下による誤検出
今後これらの問題に対処するためには、横方向のエッジから特...
影や輝度低下の影響を受けにくいエッジ検出である適応閾値処...
状認識処理の追加などによる提案手法の改善が必要である。
*まとめ [#t1771c9f]
本研究では従来手法の類似物体が近くに存在する場合状況での...
物を検出する手法の開発を目的として深度マップを用いて距離...
からエッジベースの特徴点を抽出し、その密集領域を求めるこ...
評価実験として、画像400枚から障害物を検出し、その結果今回...
今後の課題としては横方向のエッジによる特徴点の抽出、影除...
*参考文献 [#ed3103f8]
[1]Zhengqi Li, Tali Dekel, Forrester Cole, Richard Tucker...
"Learning the Depths of Moving People by Watching Frozen ...
[2]M. Menze and A. Geiger, "Object scene flow for autonom...
使用モデル https://mannequin-depth.github.io/ (最終閲覧...
終了行:
[[太田研 公開用Wiki]]
#contents
*単眼画像からの深度マップを用いた障害物検出手法の提案 [#t...
*はじめに [#ae461c77]
近年、自動車の自動運転技術の研究が盛んに行われている。自...
自動車の自動運転を実現する際に必要な機能の一つに様々なセ...
LiDARよりも安価なセンサーとしてはカメラがある。カメラを用...
そこで本研究では、近年の研究で単眼画像から作成できるよう...
*既存手法 [#s8493952]
カメラのみを用いて障害物を検出する手法としてはステレオマ...
**ステレオマッチング [#sd1a54f4]
ステレオマッチングは複数の画像から特徴点を抽出し、画像間...
徴点をマッチングさせて、その視差情報から物体までの距離を...
この手法は類似物体が存在する場面で特徴点をマッチングさせ...
#ref(stereo.png,center,60%)
CENTER:図1: 類似物体におけるステレオマッチング
**物体認識 [#jb01737b]
物体認識は機械に認識させたい物体の画像等を学習させ、物体...
見することで画像中から学習させた物体を検出する手法である...
には検出したい特定の物体のみを検出する特定物体認識と一般...
を検出する一般物体認識がある。車を例に上げると、特定物体...
もトラックだけを検出するが、一般物体認識はトラックだけに...
#ref(obj_recog_spe.png,center,40%);
CENTER:図2: 特定物体認識
#ref(obj_recog_gen.png,center,40%);
CENTER:図3: 一般物体認識
いずれの物体認識も学習させた物体の類似物体のみ検出するた...
が発生した場合に検出できないという問題がある。
以上の問題点を解決するために本研究では深度マップ及びエッ...
とで単眼画像から不特定障害物を検出できると考え新しい手法...
*提案手法 [#qc608f71]
提案手法の処理手順を図4に示す。
#ref(flow.png,center,100%)
CENTER:図4: 提案手法の処理手順
**深度マップの作成 [#qa92e758]
本研究では障害物までの距離情報を取得するために深度マップ...
#ref(depth.jpg,center,80%)
CENTER:図5: 深度マップ
**画像の入力 [#h61f28fe]
入力画像はグレー画像及びグレー画像に対応する深度マップと...
#ref(input.jpg,center,80%)
CENTER:図6: 入力画像
**近傍領域の抽出 [#u5961fa4]
本研究では障害物検出においてもっとも検出すべき対象である...
#ref(neighber.png,center,80%)
CENTER:図7: 近傍領域
**特徴点の抽出 [#bcdca0ed]
抽出した近傍領域には道路などの非障害物領域も残っているた...
#ref(feature_ori.png,center,80%)
CENTER:図8: 特徴点
**白線検出・除去 [#c4cf950c]
道路に存在する白線は道路のグレーに対し白であるので、エッ...
#ref(edge_bright.jpg,center,100%)
CENTER:図9: エッジ画像及び2値化画像
#ref(duplication.png,center,80%)
CENTER:図10: 重複部
重複部画像からハフ変換により検出された直線を白線とし、白...
#ref(wl_result.png,center,80%)
CENTER:図11: 白線検出結果
#ref(wl_remove.png,center,80%)
CENTER:図12: 白線部除去
#ref(feature.png,center,80%)
CENTER:図13:白線除去後の特徴点
**障害物領域検出 [#p0ae9745]
白線を除去した近傍領域から抽出された特徴点について近傍の...
#ref(obst.png,center,80%)
CENTER:図14: 障害物検出結果
*実験 [#kbc1b0ff]
**検出対象の定義及び実験方法 [#f5ebd794]
提案手法について評価するためにKITTIのデータセット「stereo...
検出対象の障害物を検出結果に近傍領域を重ねて描画した際に...
検出率:検出対象の障害物が検出された割合
検出率 = 検出された検出対象の障害物数 / 検出対象...
精度:障害物と判定された領域が実際に障害物である割合
精度 = 検出された検出対象の障害物数 / 総検出回数
#ref(success.jpg,center,80%)
CENTER:図15:検出成功例
**実験結果 [#l06fcf12]
実験結果を以下に示す。
CENTER:表1: 実験結果
|検出対象|検出|未検出|誤検出|
|398|337|61|128|
検出結果より算出した検出率及び精度を以下に示す。
CENTER:表2: 検出率及び精度
|検出率|精度|
|0.8467|0.7247|
表2より提案手法では検出対象の障害物を約85%検出することが...
*考察 [#l9be8982]
今回の実験において未検出、誤検出の原因としては特徴点不足...
図16では黒色の車両から特徴点が5つと少量しか検出されていな...
の物体が画像端にあることが原因と考えられる。今回の特徴点...
大きいエッジベースの特徴点を使用した。エッジは特に障害物...
れることが多い。そのため図の障害物が画面からはみ出してい...
物の輪郭情報が少なくなるため検出される特徴点が減少した。...
する際に横方向のみを走査したことも原因と考えられる。
本研究では画像を横方向のみに走査し特徴点を抽出している。...
方向に強いエッジを持つ画素のみを抽出している。輪郭部分以...
が少ない一様な障害物に関しては輪郭以外からは特徴点が抽出...
向のみであると物体の左端と右端からのみ特徴点が抽出される...
が足りず未検出となった。
#ref(featureless.jpg,center,80%)
CENTER:図16: 未検出例
図17ではでは影と道路の境界から特徴点が抽出されている。今...
ムは輝度値の変化量が大きい箇所を特徴点として検出した。暗...
の領域との輝度値の変化量が大きくなりやすいためその境界線...
抽出されやすいため誤検出の原因となった。
#ref(shadow.jpg,center,80%)
CENTER:図17: 影による誤検出
図18,19では破線や道路標示、トンネル内の白線を検出できてい...
白線検出では輝度値が220以上かつエッジが強い画素を抽出した...
以上の長さを持つ直線を白線として定義した。この条件では一...
くなる破線、複雑な形状を持っている道路標示(図18)、輝度値...
トンネル内や影が掛かっている白線(図19)などを検出できず、...
抽出され誤検出の原因となった。
#ref(wl_miss.jpg,center,80%)
CENTER:図18: 白線、道路標示による誤検出
#ref(tunnel.png,center,60%)
#ref(brightreduce.jpg,center,80%)
CENTER:図19: 輝度低下による誤検出
今後これらの問題に対処するためには、横方向のエッジから特...
影や輝度低下の影響を受けにくいエッジ検出である適応閾値処...
状認識処理の追加などによる提案手法の改善が必要である。
*まとめ [#t1771c9f]
本研究では従来手法の類似物体が近くに存在する場合状況での...
物を検出する手法の開発を目的として深度マップを用いて距離...
からエッジベースの特徴点を抽出し、その密集領域を求めるこ...
評価実験として、画像400枚から障害物を検出し、その結果今回...
今後の課題としては横方向のエッジによる特徴点の抽出、影除...
*参考文献 [#ed3103f8]
[1]Zhengqi Li, Tali Dekel, Forrester Cole, Richard Tucker...
"Learning the Depths of Moving People by Watching Frozen ...
[2]M. Menze and A. Geiger, "Object scene flow for autonom...
使用モデル https://mannequin-depth.github.io/ (最終閲覧...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
