![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2022-02-17T06:02:23+00:00","default:ail-wiki","ail-wiki") #author("2022-02-17T06:02:53+00:00","default:ail-wiki","ail-wiki") [[太田研 公開用Wiki]] *つくばチャレンジにおけるLiDARの点群データを用いた特定物体検出手法の開発 [#od301191] #contents *はじめに [#y9dd7491] 現在，実用化されているロボットの多くは限定された状況下でのみ運用されている．そのような現状で実環境下においてロボットと人間の共存と自律走行技術の発展を目指すつくばチャレンジという公開実験が存在する． つくばチャレンジとは，つくば市内で移動ロボットを自律走行させる技術チャレンジであり，つくば市内の遊歩道を含む課題コースの自律走行の必須課題に加えて，選択課題が課されている． このつくばチャレンジに太田研究室では毎年参加している． 2021年度では，課題コースが約2.5kmとなっており，公開されているコース全体は図1のように表される． 選択課題として事前データ取得なし走行，信号認識横断，チェックポイント通過+経路封鎖迂回,探索対象発見が出題されている． #ref(course.png,center,70%) CENTER:図1: 2021年度課題コース つくばチャレンジにおいてロボットの自律走行を達成するために検出すべき物体として，選択課題に関連している経路封鎖看板，回避対象となるロードコーンが挙げられる． 選択課題の経路封鎖迂回では，課題コースの一部となっている研究学園前公園内に通行を禁止する経路封鎖看板が数カ所に設置され， 道の両端に経路封鎖看板を設置することで経路封鎖を示す．経路封鎖看板の設置場所は事前に提示されないことから, ロボットは経路封鎖看板を自律的に認識して物理的に通れるが経路を封鎖されているとして別の経路に再計画を行い，迂回することが求められる．また，ロードコーンはコースの一部に設置されており，ロボットはロードコーンをリアルタイムで認識して回避する必要がある． 本研究では, 3D-LiDARセンサを用いて距離画像での物体検出をする手法の提案する． 3D-LiDAR センサでは物体の座標，距離情報，反射強度のデータを計測することができ，計測したデータを点群として取得することができる． この点群データから距離画像を生成する． 検出対象となる経路封鎖看板とロードコーンには他の物体にない特徴がある． 経路封鎖看板には両端に再帰反射テープが貼られており，再帰反射テープの特徴として反射強度の値が他の物体に比べて高くなる.ロードコーンは上部先端が三角形状であるという特徴的な形状を有している． 提案手法では再帰反射テープの反射強度が高くなること，ロードコーンの形状が特徴的であることに着目し， 3D-LiDARセンサを用いた距離画像での検出を行う. *ロボットのハードウェア構成 [#x128cbb0] つくばチャレンジで使用したロボットのハードウェア構成について述べる． つくばチャレンジ2021にて走行したロボットの外観を図2に示す． 使用したロボットは株式会社リバストが開発・販売を行っているモバイルロボットプラットホームMercury Robotsシリーズをベースとしている． ロボットには各種センサが搭載されている．LiDARが3種類取り付けられており，上部に取り付けられている3D-LiDARは32レイヤーの光を全方位に0.36度間隔で照射し， 200m以内にある物体を計測することができ，約36000点の情報を取得できる．中部に取り付けられた3D-LiDARは，4レイヤーでLiDARを中心に前方275度に0.5度間隔で照射し，64m以内にある物体を2500点の情報として計測することができる．下部の2D-LiDARは前方270度の25m以内にある物体を計測することができ，約800点の情報を取得できる． 周囲の状況を画像で取り込むためにカメラがロボット上部の前方，左右70度に取り付けられている． ロボットは四輪駆動であるため，モーターが4つ，モーターごとにエンコーダが搭載されている． #ref(mercury.jpg,center,60%) CENTER:図2:ロボットの外観 *提案手法 [#u6a51e17] **使用する3D-LiDARセンサ [#h5d118b2] LiDARとは，光を用いたリモートセンシング技術の１つであり，レーザー光を周囲に照射して物体から反射した光を測定することで， 物体までの距離や物体の性質を計測するセンサである．計測した情報は点群というデータ形式で取得する． 点群とは点の集合群のことであり，LiDARにおいては計測した対象物体の座標，距離，反射強度などが含まれている． 3D-LiDARにおいては物体の座標を3次元座標で計測することが可能である． 計測した点群には周辺の物体の座標等が含まれていることから周辺環境の情報を得ることができる． 反射強度とは物体に照射したレーザー光の反射光が照射したレーザー光と比べてどの程度の強度を持っているかを示した値である． 一般的に対象物体の色や材質によって反射強度は異なる．例を上げると自転車の反射板は光を強く反射する性質を持っているため高い反射強度を示す． 反射板とは反対に黒色は光を吸収する性質があるため黒色の物体は低い反射強度を示す． #ref(c32.png,center,40%) CENTER:図3:3D-LiDARセンサ **対象物体概要 [#qaadcaaa] 経路封鎖看板は市販品である折り畳み樹脂看板が使用されている．形状は本体サイズが幅330(mm)，高さ887(mm)になっており，有効表示サイズは幅300(mm)，高さ760(mm)となっている． 経路封鎖迂回の課題では図4に示す研究学園前公園内に数カ所設置され，設置されている場所では図5のように看板を2個を道の端に並べて設置される． 図の設置する際の道幅は5mとなっているが，2m，3mなどの複数種類の幅で設置される． #ref(park-map.png,center,60%) CENTER:図4:公園 #ref(road-closed_5m.jpg,center,40%) CENTER:図5:経路封鎖看板設置例 経路封鎖看板は図6のように看板の両サイドに再帰反射テープが貼り付けられている． 再帰反射テープとは，再帰反射という光学的な性質を持ったテープのことである． 再帰反射とは光学的に特殊な反射機構のことであり，入射光がどのような方向から当たったとしても光源に向かってそのまま反射するという特殊な反射現象が生じる． 再帰反射の性質を持ったテープであることから，フラッシュ撮影を行うと図6のようにフラッシュ光を強く反射し，テープが貼られている部分が白く発光する． また，再帰反射テープだけでなく有効表示領域にはロボット経路封鎖を示すイラストが描かれており，全ての経路封鎖看板に共通している． 描かれているイラストは経路封鎖看板のみに扱われている． #ref(signboard.jpg,center,60%) CENTER:図6:経路封鎖看板 ロードコーンは図7に示すように緑色のロードコーンが使用される．ロードコーンは上部先端が三角形である特徴的な形状を有 しており，他の物体にはみられない特徴である． #ref(cone.png,center,60%) CENTER:図7:ロードコーン ロードコーンは静止障害物として図4に示されている公園内のコースに設置される． 設置される場合はロードコーンを単体で設置するのではなく，複数束になって設置される．設置例を図8に示す． 設置箇所は公園内の遊歩道上で道幅の半分程度が塞がれる．遊歩道の幅は図では5mになっているが，他のパターンとして2m，3m幅の遊歩道に設置される． また，ロードコーンの設置数は道幅によってロボットや歩行者が通行できるように変動する． #ref(line_cone.png,center,60%) CENTER:図8:ロードコーンの設置例 **提案手法の手順 [#n40e515b] ***距離画像 [#ddef26ab] まず初めに，一般的な距離画像について詳細を述べる． 従来の距離画像とは画像座標に対応した距離情報を持った画像のことを指しており，TOF方式等の距離画像センサで距離情報を計測する． 計測した距離情報を二次元のカメラ画像と対応付けることで奥行きを持った立体的な画像として扱うことができる． 距離画像の特徴として，テクスチャの影響を受けることなく物体の形状や距離関係を知ることが可能であるという点が挙げられる． また，距離画像はデータ形式が一般的な画像と変わらないことから従来の画像処理を適応することもできる． 次に提案手法での距離画像について延べる． 提案手法で用いる距離画像では一般的な距離画像とは異なり，TOF方式等の距離画像センサを使用せず，距離画像の作成をする． 3D-LiDARでは物体との距離を計測することが可能であり，計測した点群の解像度にしたがって距離情報を画像の画像座標に対応付けをする． 提案手法では二次元のカメラ画像との対応付けは行わず，点群が持つ距離情報のみを扱う． また，提案手法の距離画像もデータ形式は一般的な画像と変わらないため従来の画像処理を適応することは可能である． 以降，距離画像は本手法で扱うものを指す． 3D-LiDARセンサから取得した点群情報を距離画像に変換する. 画像の画素値に色情報ではなく, 点群から取得した距離情報を与えることで作成した画像を距離画像とする. 使用した3D-LiDARセンサのレイヤー数, 垂直分解能, 水平分解能を用いることで点群からカメラ画像のようなロボット周囲を描画することができる. 図9で計測した点群を距離画像に変換し, Pseudo-colorで視覚化した画像を図10に示す. #ref(camera1_000316.png,center,60%) CENTER:図9:点群の計測地点 #ref(dist.png,center,30%) CENTER:図10:Pseudo-colorで視覚化した距離画像 ***距離画像のクラスタリング [#t9c920ea] 距離画像の距離情報から物体の検出を行う. 距離画像中の距離情報が近い画素同士で連結し, 連結した画素で描画された領域の分類を行う. この処理を距離画像のクラスタリングとする. 点群情報から取得できる物体までの距離は同一物体であれば同程度の距離情報を有しており, 距離画像に対してクラスタリングを行うことで物体の検出ができる. 図11で計測した点群を距離画像に変換し, クラスタリングを行った後Pseudo-colorで視覚化し,クラスタリングされた部分に矩形を付与した画像を図12に示す. 図11にある経路封鎖看板が図12においてクラスタリングされていることから物体の検出ができることが分かる. また，ロードコーンをクラスタリングした距離画像を図14に示す． 同程度の距離情報で領域分割する時，候補となる領域の面積が閾値以上でなかった場合は分割された領域とせず棄却する．この閾値以下の面積を持つ候補領域の棄却によって誤検出の可能性の低下させ，計算量の削減を行う． 特に経路封鎖看板の形状情報は詳細であるため閾値以下の面積を持つ候補領域の棄却は有効的であると考える． また，ロボットなどの計算リソースが限られており，リアルタイム性を求められる実装では計算量の削減が必要である． #ref(camera1_002863(1).png,center,60%) CENTER:図11:点群の計測地点 #ref(2863.png,center,120%) CENTER:図12:クラスタリングされた距離画像 #ref(camera1_002628.png,center,60%) CENTER:図13:点群の計測地点 #ref(2629.png,center,120%) CENTER:図14:クラスタリングされた距離画像 ***経路封鎖看板の認識 [#he874e33] 検出した物体に検出対象の特徴に基づいた識別を行う. ロードコーンは上部先端が三角上である特徴的な形状を有していることから, 検出した物体にエッジ検出を行い, エッジ方向を推定することでロードコーンであるか識別することができる. 経路封鎖看板には両端に再帰反射テープが貼られており, テープ部分の反射強度が高くなるため経路封鎖看板であるか識別することができる. 図15で観測した点群情報を距離画像に変換し, 距離情報でなく反射強度に基づきPseudo-colorで視覚化した画像を図16に示す. 図16からテープ部分の反射強度が他の物体に比べて高い値を示すことが分かる. #ref(camera1_000030(1).png,center,60%) CENTER:図15:点群の計測地点 #ref(29r.png,center,50%) CENTER:図16:クラスタリングされた距離画像 ***ロードコーンの認識 [#wdfbadee] ロードコーンは前述にある通り，他の物体にない上部先端が三角形という特徴を有している． 上部先端が三角形であることを利用して識別する． 画像処理の中にエッジ検出という手法が存在する．エッジとは画像の明暗がはっきりしている境界部分のことを指し，エッジ検出とは画像中のエッジを検出する手法のことである．このエッジ検出によって画像中の物体の形状情報が得られやすくなる． また，エッジ検出で得たエッジの方向を用いることで画像中の物体の輪郭の方向を求めることができる． ロードコーンの形状が特徴的であることから，ロードコーンにエッジ検出を行った場合，他の物体にないエッジ方向を計測できると考えた．そこで，ロードコーンが含まれている距離画像に対してエッジ検出を行い，ロードコーンのエッジ方向から識別することを目指す． 実際に距離画像中のロードコーンのエッジ方向を計測する．図13で計測した点群を距離画像に変換し，エッジ検出を行った画像を図17に示す． 図17から分かるように，ロードコーンのエッジ方向は他の物体と比較すると特徴的であると考えられる． #ref(edge.png,center,20%) CENTER:図17:エッジ方向に基づいて色付けされた画像 ***結果画像の描画 [#bb801827] 検出結果の描画について触れる． 提案手法で検出した経路封鎖看板，ロードコーンはそれぞれ距離画像に青，緑の矩形を付与する． 図18，19に結果画像の例を示す． #ref(ditect_sign.png,center,120%) CENTER:図18:検出された経路封鎖看板 #ref(ditect_cone.png,center,120%) CENTER:図19:検出されたロードコーン *実験と結果 [#ja95b13a] **実験方法 [#q8b0bfd4] 提案手法を評価するための実験ではつくばチャレンジ実験走行中等で計測した点群のログデータを用いて評価を行う．ログデータに対して提案手法を適用し，識別したラベリング領域に検出対象が存在するか検証し，検出率を求める．検出対象は２～６mの範囲内で探索を行う． データセットの検出対象の一例を図20, 21に示す． コース上には束になっているロードコーン以外にも単体で設置されている場合もある．また，データを計測した日によっては工事の関係で別タイプのロードコーンが設置されており，これもコース上の障害物に類するため検出対象とした． #ref(sample_sign.png,center,60%) CENTER:図20:経路封鎖看板のデータセット例 #ref(sample_cone.png,center,60%) CENTER:図21:ロードコーンのデータセット例 **実験結果 [#a8b87ecb] |CENTER:総データ数|CENTER:対象データ数|CENTER:検出数|CENTER:未検出数|CENTER:誤検出数|CENTER:検出率| |10685|60|46|14|0|76.67%| CENTER:表1: 経路封鎖看板の検出結果 |CENTER:総データ数|CENTER:対象データ数|CENTER:検出数|CENTER:未検出数|CENTER:誤検出数|CENTER:検出率| |10685|350|276|74|509|78.86%| CENTER:表2: ロードコーンの検出結果 *考察 [#oa3846e4] **経路封鎖看板の未検出について [#r34682d7] 経路封鎖看板の識別条件として一定以上の面積を持っており，反射強度が高い物体の領域を経路封鎖看板として検出するという条件を提案手法では用いている． 未検出は一定以上の面積を持つという条件を満たせないデータで生じており， クラスタリング時に経路封鎖看板全体をクラスタリングできていないことが要因となっていた． これは経路封鎖看板とロボットの位置関係により，ロボットから見て経路封鎖看板の前面部分に傾きが生じたことで前面部分の点群同士が閾値以内の距離にならず，前面部分全体がクラスタリングされないためである． この未検出に対処するために面積の閾値をさげてしまうとコース上に存在するポールを経路封鎖看板を誤検出してしまうため適切な対処ではないと考える．ポールには反射材部分が存在し，高い反射強度を示すため，提案手法において面積以外で候補から棄却することが難しい． 図22で計測した点群を反射強度画像に変換しクラスタリング結果を描画したものを図23に示す． 図23から分かるようにポール全体がクラスタリングされてかつ，反射強度が高いことが示されている．また，クラスタリングされた領域がそれほど小さくないため前述の通り面積の閾値で候補から棄却することが難しい． #ref(camera1_002342.png,center,60%) CENTER:図22:点群の計測地点 #ref(2342re.png,center,120%) CENTER:図23:反射強度画像 **ロードコーンの未検出について [#g8657fbe] ロードコーンの識別条件として一定の面積を持っており，閾値を満たすエッジ方向を持っている 物体領域をロードコーンとして検出するという条件を提案手法では用いている． 未検出は閾値を満たすエッジ方向を持っているという条件を満たせないことで生じていた．クラスタリング時にロードコーン全域をクラスタリングできていないことからエッジ方向が十分に検出できていないことが要因となっていた． これはロードコーンの形状，ロードコーンとロボットの距離関係により，ロードコーン全体がクラスタリングされないためである．ロードコーンの形状が円錐状になっていることから経路封鎖看板に比べてロボットとの位置関係によっては面で捉えるのが難しい．ロードコーンを面で捉えられない場合，ロードコーンの輪郭を計測ことができない．そのため，閾値を満たすエッジ方向を持つという条件を満たせない． この未検出に対処するためにクラスタリングする距離情報の閾値を下げることを考えた．期待されるようなクラスタリング結果も生じたが，それとは反対に余計な物体をクラスタリングしてしまい，ロードコーンの検出だけではなく経路封鎖看板の検出にも影響が出てしまうため適切でないと考える． 図24で計測した点群を距離画像に変換しクラスタリング結果を描画したものを図25に示す． 図24で計測した点群にはロードコーンが含まれているが提案手法では検出することができなかった． このデータでは前述したように閾値を満たすエッジ方向を持っているという条件を満たせなかったことに起因している． クラスタリングされた領域を見るとロードコーンの輪郭の片側が候補領域の境界部分と重なっている．これはクラスタリング時にロボットとの位置関係により傾きが生じ，ロードコーンの輪郭全体を含むようにクラスタリングされなかったことが原因として考えられる．図25のように輪郭がクラスタリングされなかったことからエッジ方向での閾値を満たすことができず検出に至らなかったと結論付けることができる． #ref(camera1_000932.png,center,60%) CENTER:図24:点群の計測地点 #ref(932.png,center,120%) CENTER:図25:クラスタリングされた距離画像 **ロードコーンの誤検出について [#ee5f6957] 前述のとおり，ロードコーンの識別条件として一定の面積を持っており，閾値を満たすエッジ方向を持っているというものになっている． 誤検出に関しては閾値を満たすエッジ方向を持った物体に対して生じていた． 誤検出した物体で多く見られたものが人体の足部分である．つくばチャレンジではロボットをコース内で走行させる際に安全管理責任者という係員を随行させなければならない．係は基本的にロボットの前方におり，3D-LiDARで計測できる範囲である．そのため，係の脚部をクラスタリングし，閾値以上のエッジ方向を持っているという条件を満たすことで誤検出が生じている． 図26で計測した点群で提案手法で検出した結果を図27に示す．係の脚部をロードコーンとして誤検出している． 人間の脚部は距離画像ではロードコーンと同程度のエッジ方向を持っていると考えられる．これはカメラ画像と違い，距離画像の場合少し縦横比が異なることも原因の1つとして考えられる．そのため，脚部をクラスタリングしてしまった際にエッジ方向に関する条件を満たすことで誤検出した． 図28に人体の脚部以外で誤検出した例を示す．これらのポールはコースの一部である公園内でよく見られた．誤検出した原因については距離画像においてロードコーンと似たエッジ方向を検出してしまったことが挙げられる． 上記の誤検出理由より，エッジ方向のみでロードコーンを識別することは難しいと考えることができる． #ref(camera1_000623.png,center,60%) CENTER:図26:点群の計測地点 #ref(623.png,center,120%) CENTER:図27:誤検出例 #ref(camera1_0001914.png,center,60%) #ref(camera1_0002342.png,center,60%) #ref(camera1_0004140.png,center,60%) #ref(camera1_001914.png,center,60%) #ref(camera1_002342.png,center,60%) #ref(camera1_004140.png,center,60%) CENTER:図28: ポールの例 *まとめ [#af51c6f4] 本論文では，つくばチャレンジにおける特定物体を距離画像を用いて検出する手法を提案した． 提案手法では3D-LiDARで計測した点群の距離情報を画像の画素に格納し作成した距離画像にクラスタリングを行う．クラスタリングされた領域から物体の形状情報を求め，対象物体の形状情報と比較することで検出を行った．一般的に画像中から何らかの物体を検出する場合，機械学習を用いることが多い．しかし，リアルタイム性が求められるロボットの自律走行では適切な手法でないと言える．本手法では機械学習を用いることがないため計算リソースを多く使うことなく検出を行うことができる． 具体的には，3D-LiDARで計測した点群の距離情報を画像の画素に格納することで作成した距離画像に対してクラスタリングを行い，クラスタリングされた領域に物体の識別を行い対象物体の検出をする．クラスタリングをするとき，画像処理における従来手法のラベリングをチューニングしたクラスタリングアルゴリズムを用いる．また，物体の識別にあたって対象物体の特徴を用いる．対象物体は経路封鎖看板，ロードコーンの2種で，それぞれ3D-LiDARで計測できる反射強度の値が高い，特徴的なエッジ方向を持っているという特徴が挙げられる．この特徴を用いて対象物体の検出を行う． 本手法の信頼性を評価するためにつくばチャレンジの実験走行中に3D-LiDARで計測した点群のログデータを用いて提案手法での検出を行い，性能の評価を行った．満足のいかない結果であった．経路封鎖看板に関しては未検出が多く，ロボットとの位置関係により経路封鎖看板を正面から捉えることができず，クラスタリングの面積が小さくなっていることに加え，誤検出を減らすための面積の閾値設定により未検出が生じていた．ロードコーンの未検出はロボットとロードコーンの位置関係によりクラスタリングが期待される結果とならず未検出となった．また，ロードコーンの誤検出に関してはロボットに随行する係の脚部をロードコーンとして誤検出していた．これは距離画像上でエッジ方向がロードコーンと似通ってしまうことから生じていた． 今後の課題として検出率の向上のために，ロボットのカメラ画像と距離画像のキャリブレーションを行いカメラ画像から得られる情報を用いての提案手法の改善を考えている． *参考文献 [#c407a9ce] [1]Y. Kanuki, N. Ohta, ”Development of Autonomous Robot with Simple Navi-gation System for Tsukuba Challenge 2015”, J. of Robotics and Mechatronics, Vol.28, No.4, pp.432-440, 2016. [2]大木敦夫: 色・エッジ情報を用いた汎用性のある障害物回避, 修士論文, 早稲田大学大学院理工学研究科情報・ネットワーク専攻 (2004). [3]藤吉弘亘: 機械学習を用いた距離画像からの物体認識技術, 信学技報, vol.115, no.124, ICD2015-17, pp.13-18, 2015年7月. [4]品田直樹，荒木悠吾，王凱，四宮雄平，清水南良，天野嘉春，"つくばチャレンジ2020における自律移動ロボットの開発"，つくばチャレンジ2020参加レポート集，pp.7-10,2021. [5]OpenCV: http://opencv.org/
