つくばチャレンジにおけるLiDARの点群データを用いた特定物体検出手法の開発
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[太田研 公開用Wiki]]
*つくばチャレンジにおけるLiDARの点群データを用いた特定物...
#contents
*はじめに [#y9dd7491]
現在，実用化されているロボットの多くは限定された状況下で...
つくばチャレンジとは，つくば市内で移動ロボットを自律走行...
このつくばチャレンジに太田研究室では毎年参加している．
2021年度では，課題コースが約2.5kmとなっており，公開されて...
選択課題として事前データ取得なし走行，信号認識横断，チェ...
#ref(course.png,center,70%)
CENTER:図1: 2021年度課題コース
つくばチャレンジにおいてロボットの自律走行を達成するため...
選択課題の経路封鎖迂回では，課題コースの一部となっている...
道の両端に経路封鎖看板を設置することで経路封鎖を示す．経...
ロボットは経路封鎖看板を自律的に認識して物理的に通れるが...
本研究では, 3D-LiDARセンサを用いて距離画像での物体検出を...
3D-LiDAR センサでは物体の座標，距離情報，反射強度のデータ...
この点群データから距離画像を生成する．
検出対象となる経路封鎖看板とロードコーンには他の物体にな...
経路封鎖看板には両端に再帰反射テープが貼られており，再帰...
提案手法では再帰反射テープの反射強度が高くなること，ロー...
3D-LiDARセンサを用いた距離画像での検出を行う.
*ロボットのハードウェア構成 [#x128cbb0]
つくばチャレンジで使用したロボットのハードウェア構成につ...
つくばチャレンジ2021にて走行したロボットの外観を図2に示す．
使用したロボットは株式会社リバストが開発・販売を行ってい...
ロボットには各種センサが搭載されている．LiDARが3種類取り...
200m以内にある物体を計測することができ，約36000点の情報を...
周囲の状況を画像で取り込むためにカメラがロボット上部の前...
ロボットは四輪駆動であるため，モーターが4つ，モーターごと...
#ref(mercury.jpg,center,60%)
CENTER:図2:ロボットの外観
*提案手法 [#u6a51e17]
**使用する3D-LiDARセンサ [#h5d118b2]
LiDARとは，光を用いたリモートセンシング技術の１つであり，...
物体までの距離や物体の性質を計測するセンサである．計測し...
点群とは点の集合群のことであり，LiDARにおいては計測した対...
3D-LiDARにおいては物体の座標を3次元座標で計測することが可...
計測した点群には周辺の物体の座標等が含まれていることから...
反射強度とは物体に照射したレーザー光の反射光が照射したレ...
一般的に対象物体の色や材質によって反射強度は異なる．例を...
反射板とは反対に黒色は光を吸収する性質があるため黒色の物...
#ref(c32.png,center,40%)
CENTER:図3:3D-LiDARセンサ
**対象物体概要 [#qaadcaaa]
経路封鎖看板は市販品である折り畳み樹脂看板が使用されてい...
経路封鎖迂回の課題では図4に示す研究学園前公園内に数カ所設...
図の設置する際の道幅は5mとなっているが，2m，3mなどの複数...
#ref(park-map.png,center,60%)
CENTER:図4:公園
#ref(road-closed_5m.jpg,center,40%)
CENTER:図5:経路封鎖看板設置例
経路封鎖看板は図6のように看板の両サイドに再帰反射テープが...
再帰反射テープとは，再帰反射という光学的な性質を持ったテ...
再帰反射とは光学的に特殊な反射機構のことであり，入射光が...
再帰反射の性質を持ったテープであることから，フラッシュ撮...
また，再帰反射テープだけでなく有効表示領域にはロボット経...
描かれているイラストは経路封鎖看板のみに扱われている．
#ref(signboard.jpg,center,60%)
CENTER:図6:経路封鎖看板
ロードコーンは図7に示すように緑色のロードコーンが使用され...
しており，他の物体にはみられない特徴である．
#ref(cone.png,center,60%)
CENTER:図7:ロードコーン
ロードコーンは静止障害物として図4に示されている公園内のコ...
設置される場合はロードコーンを単体で設置するのではなく，...
設置箇所は公園内の遊歩道上で道幅の半分程度が塞がれる．遊...
また，ロードコーンの設置数は道幅によってロボットや歩行者...
#ref(line_cone.png,center,60%)
CENTER:図8:ロードコーンの設置例
**提案手法の手順 [#n40e515b]
***距離画像 [#ddef26ab]
まず初めに，一般的な距離画像について詳細を述べる．
従来の距離画像とは画像座標に対応した距離情報を持った画像...
計測した距離情報を二次元のカメラ画像と対応付けることで奥...
距離画像の特徴として，テクスチャの影響を受けることなく物...
また，距離画像はデータ形式が一般的な画像と変わらないこと...
次に提案手法での距離画像について延べる．
提案手法で用いる距離画像では一般的な距離画像とは異なり，T...
3D-LiDARでは物体との距離を計測することが可能であり，計測...
提案手法では二次元のカメラ画像との対応付けは行わず，点群...
また，提案手法の距離画像もデータ形式は一般的な画像と変わ...
以降，距離画像は本手法で扱うものを指す．
3D-LiDARセンサから取得した点群情報を距離画像に変換する.
画像の画素値に色情報ではなく, 点群から取得した距離情報を...
使用した3D-LiDARセンサのレイヤー数, 垂直分解能, 水平分解...
図9で計測した点群を距離画像に変換し, Pseudo-colorで視覚化...
#ref(camera1_000316.png,center,60%)
CENTER:図9:点群の計測地点
#ref(dist.png,center,30%)
CENTER:図10:Pseudo-colorで視覚化した距離画像
***距離画像のクラスタリング [#t9c920ea]
距離画像の距離情報から物体の検出を行う. 距離画像中の距離...
この処理を距離画像のクラスタリングとする.
点群情報から取得できる物体までの距離は同一物体であれば同...
図11で計測した点群を距離画像に変換し, クラスタリングを行...
図11にある経路封鎖看板が図12においてクラスタリングされて...
また，ロードコーンをクラスタリングした距離画像を図14に示...
同程度の距離情報で領域分割する時，候補となる領域の面積が...
特に経路封鎖看板の形状情報は詳細であるため閾値以下の面積...
また，ロボットなどの計算リソースが限られており，リアルタ...
#ref(camera1_002863(1).png,center,60%)
CENTER:図11:点群の計測地点
#ref(2863.png,center,120%)
CENTER:図12:クラスタリングされた距離画像
#ref(camera1_002628.png,center,60%)
CENTER:図13:点群の計測地点
#ref(2629.png,center,120%)
CENTER:図14:クラスタリングされた距離画像
***経路封鎖看板の認識 [#he874e33]
検出した物体に検出対象の特徴に基づいた識別を行う.
ロードコーンは上部先端が三角上である特徴的な形状を有して...
エッジ方向を推定することでロードコーンであるか識別するこ...
経路封鎖看板には両端に再帰反射テープが貼られており, テー...
図15で観測した点群情報を距離画像に変換し, 距離情報でなく...
図16からテープ部分の反射強度が他の物体に比べて高い値を示...
#ref(camera1_000030(1).png,center,60%)
CENTER:図15:点群の計測地点
#ref(29r.png,center,50%)
CENTER:図16:クラスタリングされた距離画像
***ロードコーンの認識 [#wdfbadee]
ロードコーンは前述にある通り，他の物体にない上部先端が三...
上部先端が三角形であることを利用して識別する．
画像処理の中にエッジ検出という手法が存在する．エッジとは...
また，エッジ検出で得たエッジの方向を用いることで画像中の...
ロードコーンの形状が特徴的であることから，ロードコーンに...
実際に距離画像中のロードコーンのエッジ方向を計測する．図1...
図17から分かるように，ロードコーンのエッジ方向は他の物体...
#ref(edge.png,center,20%)
CENTER:図17:エッジ方向に基づいて色付けされた画像
***結果画像の描画 [#bb801827]
検出結果の描画について触れる．
提案手法で検出した経路封鎖看板，ロードコーンはそれぞれ距...
図18，19に結果画像の例を示す．
#ref(ditect_sign.png,center,120%)
CENTER:図18:検出された経路封鎖看板
#ref(ditect_cone.png,center,120%)
CENTER:図19:検出されたロードコーン
*実験と結果 [#ja95b13a]
**実験方法 [#q8b0bfd4]
提案手法を評価するための実験ではつくばチャレンジ実験走行...
データセットの検出対象の一例を図20, 21に示す．
コース上には束になっているロードコーン以外にも単体で設置...
#ref(sample_sign.png,center,60%)
CENTER:図20:経路封鎖看板のデータセット例
#ref(sample_cone.png,center,60%)
CENTER:図21:ロードコーンのデータセット例
**実験結果 [#a8b87ecb]
|CENTER:総データ数|CENTER:対象データ数|CENTER:検出数|CENT...
|10685|60|46|14|0|76.67%|
CENTER:表1: 経路封鎖看板の検出結果
|CENTER:総データ数|CENTER:対象データ数|CENTER:検出数|CENT...
|10685|350|276|74|509|78.86%|
CENTER:表2: ロードコーンの検出結果
*考察 [#oa3846e4]
**経路封鎖看板の未検出について [#r34682d7]
経路封鎖看板の識別条件として一定以上の面積を持っており，...
未検出は一定以上の面積を持つという条件を満たせないデータ...
クラスタリング時に経路封鎖看板全体をクラスタリングできて...
これは経路封鎖看板とロボットの位置関係により，ロボットか...
この未検出に対処するために面積の閾値をさげてしまうとコー...
図22で計測した点群を反射強度画像に変換しクラスタリング結...
図23から分かるようにポール全体がクラスタリングされてかつ...
#ref(camera1_002342.png,center,60%)
CENTER:図22:点群の計測地点
#ref(2342re.png,center,120%)
CENTER:図23:反射強度画像
**ロードコーンの未検出について [#g8657fbe]
ロードコーンの識別条件として一定の面積を持っており，閾値...
物体領域をロードコーンとして検出するという条件を提案手法...
未検出は閾値を満たすエッジ方向を持っているという条件を満...
これはロードコーンの形状，ロードコーンとロボットの距離関...
この未検出に対処するためにクラスタリングする距離情報の閾...
図24で計測した点群を距離画像に変換しクラスタリング結果を...
図24で計測した点群にはロードコーンが含まれているが提案手...
このデータでは前述したように閾値を満たすエッジ方向を持っ...
クラスタリングされた領域を見るとロードコーンの輪郭の片側...
#ref(camera1_000932.png,center,60%)
CENTER:図24:点群の計測地点
#ref(932.png,center,120%)
CENTER:図25:クラスタリングされた距離画像
**ロードコーンの誤検出について [#ee5f6957]
前述のとおり，ロードコーンの識別条件として一定の面積を持...
誤検出に関しては閾値を満たすエッジ方向を持った物体に対し...
誤検出した物体で多く見られたものが人体の足部分である．つ...
図26で計測した点群で提案手法で検出した結果を図27に示す．...
人間の脚部は距離画像ではロードコーンと同程度のエッジ方向...
図28に人体の脚部以外で誤検出した例を示す．これらのポール...
上記の誤検出理由より，エッジ方向のみでロードコーンを識別...
#ref(camera1_000623.png,center,60%)
CENTER:図26:点群の計測地点
#ref(623.png,center,120%)
CENTER:図27:誤検出例
#ref(camera1_001914.png,center,60%)
#ref(camera1_002342.png,center,60%)
#ref(camera1_004140.png,center,60%)
CENTER:図28: ポールの例
*まとめ [#af51c6f4]
本論文では，つくばチャレンジにおける特定物体を距離画像を...
提案手法では3D-LiDARで計測した点群の距離情報を画像の画素...
具体的には，3D-LiDARで計測した点群の距離情報を画像の画素...
本手法の信頼性を評価するためにつくばチャレンジの実験走行...
今後の課題として検出率の向上のために，ロボットのカメラ画...
*参考文献 [#c407a9ce]
[1]Y. Kanuki, N. Ohta, ”Development of Autonomous Robot w...
[2]大木敦夫: 色・エッジ情報を用いた汎用性のある障害物回避...
[3]藤吉弘亘: 機械学習を用いた距離画像からの物体認識技術, ...
[4]品田直樹，荒木悠吾，王凱，四宮雄平，清水南良，天野嘉春...
[5]OpenCV: http://opencv.org/
終了行:
[[太田研 公開用Wiki]]
*つくばチャレンジにおけるLiDARの点群データを用いた特定物...
#contents
*はじめに [#y9dd7491]
現在，実用化されているロボットの多くは限定された状況下で...
つくばチャレンジとは，つくば市内で移動ロボットを自律走行...
このつくばチャレンジに太田研究室では毎年参加している．
2021年度では，課題コースが約2.5kmとなっており，公開されて...
選択課題として事前データ取得なし走行，信号認識横断，チェ...
#ref(course.png,center,70%)
CENTER:図1: 2021年度課題コース
つくばチャレンジにおいてロボットの自律走行を達成するため...
選択課題の経路封鎖迂回では，課題コースの一部となっている...
道の両端に経路封鎖看板を設置することで経路封鎖を示す．経...
ロボットは経路封鎖看板を自律的に認識して物理的に通れるが...
本研究では, 3D-LiDARセンサを用いて距離画像での物体検出を...
3D-LiDAR センサでは物体の座標，距離情報，反射強度のデータ...
この点群データから距離画像を生成する．
検出対象となる経路封鎖看板とロードコーンには他の物体にな...
経路封鎖看板には両端に再帰反射テープが貼られており，再帰...
提案手法では再帰反射テープの反射強度が高くなること，ロー...
3D-LiDARセンサを用いた距離画像での検出を行う.
*ロボットのハードウェア構成 [#x128cbb0]
つくばチャレンジで使用したロボットのハードウェア構成につ...
つくばチャレンジ2021にて走行したロボットの外観を図2に示す．
使用したロボットは株式会社リバストが開発・販売を行ってい...
ロボットには各種センサが搭載されている．LiDARが3種類取り...
200m以内にある物体を計測することができ，約36000点の情報を...
周囲の状況を画像で取り込むためにカメラがロボット上部の前...
ロボットは四輪駆動であるため，モーターが4つ，モーターごと...
#ref(mercury.jpg,center,60%)
CENTER:図2:ロボットの外観
*提案手法 [#u6a51e17]
**使用する3D-LiDARセンサ [#h5d118b2]
LiDARとは，光を用いたリモートセンシング技術の１つであり，...
物体までの距離や物体の性質を計測するセンサである．計測し...
点群とは点の集合群のことであり，LiDARにおいては計測した対...
3D-LiDARにおいては物体の座標を3次元座標で計測することが可...
計測した点群には周辺の物体の座標等が含まれていることから...
反射強度とは物体に照射したレーザー光の反射光が照射したレ...
一般的に対象物体の色や材質によって反射強度は異なる．例を...
反射板とは反対に黒色は光を吸収する性質があるため黒色の物...
#ref(c32.png,center,40%)
CENTER:図3:3D-LiDARセンサ
**対象物体概要 [#qaadcaaa]
経路封鎖看板は市販品である折り畳み樹脂看板が使用されてい...
経路封鎖迂回の課題では図4に示す研究学園前公園内に数カ所設...
図の設置する際の道幅は5mとなっているが，2m，3mなどの複数...
#ref(park-map.png,center,60%)
CENTER:図4:公園
#ref(road-closed_5m.jpg,center,40%)
CENTER:図5:経路封鎖看板設置例
経路封鎖看板は図6のように看板の両サイドに再帰反射テープが...
再帰反射テープとは，再帰反射という光学的な性質を持ったテ...
再帰反射とは光学的に特殊な反射機構のことであり，入射光が...
再帰反射の性質を持ったテープであることから，フラッシュ撮...
また，再帰反射テープだけでなく有効表示領域にはロボット経...
描かれているイラストは経路封鎖看板のみに扱われている．
#ref(signboard.jpg,center,60%)
CENTER:図6:経路封鎖看板
ロードコーンは図7に示すように緑色のロードコーンが使用され...
しており，他の物体にはみられない特徴である．
#ref(cone.png,center,60%)
CENTER:図7:ロードコーン
ロードコーンは静止障害物として図4に示されている公園内のコ...
設置される場合はロードコーンを単体で設置するのではなく，...
設置箇所は公園内の遊歩道上で道幅の半分程度が塞がれる．遊...
また，ロードコーンの設置数は道幅によってロボットや歩行者...
#ref(line_cone.png,center,60%)
CENTER:図8:ロードコーンの設置例
**提案手法の手順 [#n40e515b]
***距離画像 [#ddef26ab]
まず初めに，一般的な距離画像について詳細を述べる．
従来の距離画像とは画像座標に対応した距離情報を持った画像...
計測した距離情報を二次元のカメラ画像と対応付けることで奥...
距離画像の特徴として，テクスチャの影響を受けることなく物...
また，距離画像はデータ形式が一般的な画像と変わらないこと...
次に提案手法での距離画像について延べる．
提案手法で用いる距離画像では一般的な距離画像とは異なり，T...
3D-LiDARでは物体との距離を計測することが可能であり，計測...
提案手法では二次元のカメラ画像との対応付けは行わず，点群...
また，提案手法の距離画像もデータ形式は一般的な画像と変わ...
以降，距離画像は本手法で扱うものを指す．
3D-LiDARセンサから取得した点群情報を距離画像に変換する.
画像の画素値に色情報ではなく, 点群から取得した距離情報を...
使用した3D-LiDARセンサのレイヤー数, 垂直分解能, 水平分解...
図9で計測した点群を距離画像に変換し, Pseudo-colorで視覚化...
#ref(camera1_000316.png,center,60%)
CENTER:図9:点群の計測地点
#ref(dist.png,center,30%)
CENTER:図10:Pseudo-colorで視覚化した距離画像
***距離画像のクラスタリング [#t9c920ea]
距離画像の距離情報から物体の検出を行う. 距離画像中の距離...
この処理を距離画像のクラスタリングとする.
点群情報から取得できる物体までの距離は同一物体であれば同...
図11で計測した点群を距離画像に変換し, クラスタリングを行...
図11にある経路封鎖看板が図12においてクラスタリングされて...
また，ロードコーンをクラスタリングした距離画像を図14に示...
同程度の距離情報で領域分割する時，候補となる領域の面積が...
特に経路封鎖看板の形状情報は詳細であるため閾値以下の面積...
また，ロボットなどの計算リソースが限られており，リアルタ...
#ref(camera1_002863(1).png,center,60%)
CENTER:図11:点群の計測地点
#ref(2863.png,center,120%)
CENTER:図12:クラスタリングされた距離画像
#ref(camera1_002628.png,center,60%)
CENTER:図13:点群の計測地点
#ref(2629.png,center,120%)
CENTER:図14:クラスタリングされた距離画像
***経路封鎖看板の認識 [#he874e33]
検出した物体に検出対象の特徴に基づいた識別を行う.
ロードコーンは上部先端が三角上である特徴的な形状を有して...
エッジ方向を推定することでロードコーンであるか識別するこ...
経路封鎖看板には両端に再帰反射テープが貼られており, テー...
図15で観測した点群情報を距離画像に変換し, 距離情報でなく...
図16からテープ部分の反射強度が他の物体に比べて高い値を示...
#ref(camera1_000030(1).png,center,60%)
CENTER:図15:点群の計測地点
#ref(29r.png,center,50%)
CENTER:図16:クラスタリングされた距離画像
***ロードコーンの認識 [#wdfbadee]
ロードコーンは前述にある通り，他の物体にない上部先端が三...
上部先端が三角形であることを利用して識別する．
画像処理の中にエッジ検出という手法が存在する．エッジとは...
また，エッジ検出で得たエッジの方向を用いることで画像中の...
ロードコーンの形状が特徴的であることから，ロードコーンに...
実際に距離画像中のロードコーンのエッジ方向を計測する．図1...
図17から分かるように，ロードコーンのエッジ方向は他の物体...
#ref(edge.png,center,20%)
CENTER:図17:エッジ方向に基づいて色付けされた画像
***結果画像の描画 [#bb801827]
検出結果の描画について触れる．
提案手法で検出した経路封鎖看板，ロードコーンはそれぞれ距...
図18，19に結果画像の例を示す．
#ref(ditect_sign.png,center,120%)
CENTER:図18:検出された経路封鎖看板
#ref(ditect_cone.png,center,120%)
CENTER:図19:検出されたロードコーン
*実験と結果 [#ja95b13a]
**実験方法 [#q8b0bfd4]
提案手法を評価するための実験ではつくばチャレンジ実験走行...
データセットの検出対象の一例を図20, 21に示す．
コース上には束になっているロードコーン以外にも単体で設置...
#ref(sample_sign.png,center,60%)
CENTER:図20:経路封鎖看板のデータセット例
#ref(sample_cone.png,center,60%)
CENTER:図21:ロードコーンのデータセット例
**実験結果 [#a8b87ecb]
|CENTER:総データ数|CENTER:対象データ数|CENTER:検出数|CENT...
|10685|60|46|14|0|76.67%|
CENTER:表1: 経路封鎖看板の検出結果
|CENTER:総データ数|CENTER:対象データ数|CENTER:検出数|CENT...
|10685|350|276|74|509|78.86%|
CENTER:表2: ロードコーンの検出結果
*考察 [#oa3846e4]
**経路封鎖看板の未検出について [#r34682d7]
経路封鎖看板の識別条件として一定以上の面積を持っており，...
未検出は一定以上の面積を持つという条件を満たせないデータ...
クラスタリング時に経路封鎖看板全体をクラスタリングできて...
これは経路封鎖看板とロボットの位置関係により，ロボットか...
この未検出に対処するために面積の閾値をさげてしまうとコー...
図22で計測した点群を反射強度画像に変換しクラスタリング結...
図23から分かるようにポール全体がクラスタリングされてかつ...
#ref(camera1_002342.png,center,60%)
CENTER:図22:点群の計測地点
#ref(2342re.png,center,120%)
CENTER:図23:反射強度画像
**ロードコーンの未検出について [#g8657fbe]
ロードコーンの識別条件として一定の面積を持っており，閾値...
物体領域をロードコーンとして検出するという条件を提案手法...
未検出は閾値を満たすエッジ方向を持っているという条件を満...
これはロードコーンの形状，ロードコーンとロボットの距離関...
この未検出に対処するためにクラスタリングする距離情報の閾...
図24で計測した点群を距離画像に変換しクラスタリング結果を...
図24で計測した点群にはロードコーンが含まれているが提案手...
このデータでは前述したように閾値を満たすエッジ方向を持っ...
クラスタリングされた領域を見るとロードコーンの輪郭の片側...
#ref(camera1_000932.png,center,60%)
CENTER:図24:点群の計測地点
#ref(932.png,center,120%)
CENTER:図25:クラスタリングされた距離画像
**ロードコーンの誤検出について [#ee5f6957]
前述のとおり，ロードコーンの識別条件として一定の面積を持...
誤検出に関しては閾値を満たすエッジ方向を持った物体に対し...
誤検出した物体で多く見られたものが人体の足部分である．つ...
図26で計測した点群で提案手法で検出した結果を図27に示す．...
人間の脚部は距離画像ではロードコーンと同程度のエッジ方向...
図28に人体の脚部以外で誤検出した例を示す．これらのポール...
上記の誤検出理由より，エッジ方向のみでロードコーンを識別...
#ref(camera1_000623.png,center,60%)
CENTER:図26:点群の計測地点
#ref(623.png,center,120%)
CENTER:図27:誤検出例
#ref(camera1_001914.png,center,60%)
#ref(camera1_002342.png,center,60%)
#ref(camera1_004140.png,center,60%)
CENTER:図28: ポールの例
*まとめ [#af51c6f4]
本論文では，つくばチャレンジにおける特定物体を距離画像を...
提案手法では3D-LiDARで計測した点群の距離情報を画像の画素...
具体的には，3D-LiDARで計測した点群の距離情報を画像の画素...
本手法の信頼性を評価するためにつくばチャレンジの実験走行...
今後の課題として検出率の向上のために，ロボットのカメラ画...
*参考文献 [#c407a9ce]
[1]Y. Kanuki, N. Ohta, ”Development of Autonomous Robot w...
[2]大木敦夫: 色・エッジ情報を用いた汎用性のある障害物回避...
[3]藤吉弘亘: 機械学習を用いた距離画像からの物体認識技術, ...
[4]品田直樹，荒木悠吾，王凱，四宮雄平，清水南良，天野嘉春...
[5]OpenCV: http://opencv.org/
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
