![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2020-03-10T07:38:52+00:00","default:ail-wiki","ail-wiki") #author("2020-03-10T07:40:06+00:00","default:ail-wiki","ail-wiki") [[太田研 公開用Wiki]] *つくばチャレンジにおける3D-LiDARを用いた経路封鎖看板の検出手法 [#ra58fbab] #contents *はじめに [#hec73ed3] 現在,実用化されているロボットの多くは限定された状況下でのみ運用されている. そのような現状で実環境下においてロボットと人間の共存と自律走行技術の発展を目指すつくばチャレンジという公開実験が存在する. つくばチャレンジとは,つくば市の市街地で移動ロボットを自律走行させる技術チャレンジであり, 課題コースの自律走行の必須課題加えて,選択課題が課されている.このつくばチャレンジに太田研究室では毎年参加している. 2019年度では,課題コースが約2.5kmとなっており公開されている地図では図のように表される. 選択課題として事前データ取得なし走行,信号認識横断,チェックポイント通過+経路封鎖迂回,探索対象発見が出題されている. 選択課題の経路封鎖迂回では,課題コースの一部となっている研究学園前公園内に通行を禁止する経路封鎖看板が数カ所に設置されている. 道の両端に経路封鎖看板を設置することで経路封鎖を示す.経路封鎖看板の設置場所は事前に提示されない. そのため,ロボットは経路封鎖看板を自律的に認識して物理的に通れるが経路を封鎖されているとして別の経路に再計画を行い, 迂回することが求められている. 本研究では,3D-LiDARセンサを用いて経路封鎖看板を検出する手法を提案する. 3D-LiDARセンサでは物体の座標,反射強度等のデータを計測する. 検出対象となる経路封鎖看板の両端に再帰反射テープが貼られている.再帰反射テープの特徴として反射強度の値が他の物体に比べて高くなる. 提案手法では再帰反射テープの反射強度が高くなることに着目し,3D-LiDARセンサを用いた検出を行う. CENTER:#ref(corse.png,center,70%) CENTER:図1: 2019年度課題コース *反射強度による検出手法 [#r87651b1] ** 検出する経路封鎖看板について [#na8485e1] 経路封鎖看板の形状は本体サイズがW330✕H887(mm)に,有効表示サイズはW300✕H760(mm)となっている. 経路封鎖迂回の課題では研究学園前公園内に数カ所設置されている. 公園内の数カ所設置にされており,設置されている場所では図2のように看板を2個を道の端に並べて設置される. 図2の設置する際の道幅は5mとなっているが,2m,3mの道幅にも設置される. CENTER:#ref(road-closed_5m.jpg,center,40%) CENTER:図2: 経路封鎖看板の設置例 経路封鎖看板は図3のように看板の両サイドに再帰反射テープが貼り付けられている. 再帰反射テープとは,光がどのような方向から当たったとしても光源に向かってそのまま反射する光学的特徴を兼ね備えたテープとなっている. そのため,フラッシュ撮影を行うと図3のようにテープが貼られている部分が白く発光する. 再帰反射テープの光学的特徴によって反射強度が高くなる. CENTER:#ref(signboard.jpg,center,70%) CENTER:図3: 経路封鎖看板のフラッシュ撮影 **検出に用いるセンサについて [#ge29508d] 本研究では,経路封鎖看板の検出を行う際に3D-LiDARセンサを用いる. 3D-LiDARセンサとは,レーザー光を対象物に照射して対象物との距離を三次元的に測定するセンサである. CENTER:#ref(lidar.jpg,center,30%) CENTER:図4: 用いた3D-LiDAR 本実験で扱う3D-LiDARセンサでは対象物の3次元座標,反射強度を測定する. 測定された座標の出力は点群出力で行われる. 測定可能距離は0.3〜200mになっている. 3D-LiDARから取得した点群を用いて周囲環境を描画することが可能である. 実際に図5で観測した点群を距離情報と反射強度について描画したものが図6,図7になる. CENTER:#ref(pandora_front_color_002218.jpg,center,50%) CENTER:図5: 点群の観測地点 CENTER:#ref(dist.png,center,70%) CENTER:#ref(dist.png,center,100%) CENTER:図6: 距離情報に基づいた色分けの点群画像 CENTER:#ref(reflect.png,center,70%) CENTER:#ref(reflect.png,center,100%) CENTER:図7: 反射強度に基づいた色分けの点群画像 **経路封鎖看板の検出方法 [#g74e2477] 提案方法では,経路封鎖看板の両端に反射強度の高い再帰反射テープが貼られていることに着目し,3D-LiDARセンサを用いて検出を行う. 提案手法の大まかな流れを示す. +観測された点群の入力 --入力データは3次元の座標,反射強度. +点群の下処理 --点群に対して距離と反射強度に関して抽出を行う. --抽出した点群に対してソートを行う. +クラスタリング --点群に対して再帰反射テープの形状情報を元にクラスタリングを行う. +ペアの作成 --クラスタリングされた点群に対して看板の形状情報を元に位置が近い同士でペアを作成. +形状チェック --ペアの形状情報看板の形状情報を元に看板かどうか識別を行う. +結果出力 以降は提案手法の大まかな流れに沿って述べる. 述べる際に図5の地点で観測した点群を用いて処理ごとに点群画像を作成する. ***点群の下処理 [#s22f2ab4] 入力された観測された点群に対して下処理を行う. まず入力された点群の中で距離が1〜10mにある点群のみを抽出する. 点群の距離が離れれば離れるほど点群の解像度が低くなるため物体の認識が困難になる. そのことから点群が高い解像度を保った状態で処理ができるように扱う点群の距離を制限する. また,点群との距離が離れることによって点群の欠損が生じ,正しく物体の認識ができないことや,反射強度が正しく取得でいないことがある. 次に距離によって抽出された点群の中にある再帰反射テープだと思われる点群を抽出する. 再帰反射テープは他の物体に比べて反射強度が高い値を返すため, 距離によって抽出された点群の内,反射強度の高い点群を抽出することで再帰反射テープだと思われる点群のみ取り扱うことができる. 最後に抽出された点群に対して高さに関しての昇順ソートを行う. この後にクラススタリングを行う際,点群が高さに関して並んでいたほうがクラスタリング処理が容易になる. 点群に対して下処理を行った結果の点群画像が図8となる. 点群は白でプロットを行ったが,反射強度の高い点群のみ青色でプロットを行った. CENTER:#ref(processing_pc.png,center,100%) CENTER:図8: 下処理後の点群画像 *** クラスタリング [#n918a696] 点群の下処理の終了後,次は下処理した点群に対してクラスタリングを行う. クラスタリング処理では再帰反射テープの形状情報に基づいて点群から再帰反射テープだと考えられる点群を抽出する. 順を追ってクラスタリング処理について述べる. まず,下処理を行った点群の内基準点となる点を任意に定める. 次にこの点より高い位置にあり,かつ左右0.06m,奥行き0.08mの範囲に収まる点を探索する. 条件を満たす点が見つかった場合,基準点を保存し,条件を満たした点を次の基準点とし同様の操作を行う. 条件を満たす点が見つからなかった場合,保存された点群の高さを求める.この高さが再帰反射テープの形状情報に基づいた閾値を満たした場合, その点群を再帰反射テープとしてクラスタリングする. クラスタリングできなかった場合,今の基準点とは異なった任意の点を基準点とし同様の操作を行う. 一連の操作を基準点が設定できなくなるまで行う. CENTER:#ref(clustering.png,center,70%) CENTER:#ref(clustering.png,center,100%) CENTER:図9: クラスタリング後の点群画像 クラスタリング処理を行った結果が図9になる. クラスタリングされた再帰反射テープごとに色を変更し,プロットを行った. ***ペアの作成 [#w3e26c1c] クラスタリング処理の終了後,クラスタリングされた再帰反射テープだと考えられる点群の 位置が近い同士でペアの作成を行う. まずクラスタリングされた点群の中から任意の点群を選ぶ. 任意の点群とそれ以外のクラスタリングされた点群を1つ選び点群同士の幅と奥行きの差を求める. 位置が近い同士を探索する際に幅だけでなく奥行きの差をチェックをする必要がある. つくばチャレンジの課題コース中に再帰反射テープ以外の反射材を身に着けた安全管理責任者という係がロボットに追従する. 係が身につけている反射材の部分を再帰反射テープとクラスタリングしてしまい, 幅だけであると正しくペアを作成できない可能性がある. そのため,奥行きの差をチェックすることで正しくペアの作成ができない可能性を減らすようにした. 求めた幅と奥行きの差が閾値に収まったらその点群同士は同一看板上にあると考え,ペアとして点群を保存をする. その後,任意の点群を選び直し同様の操作を行う. 閾値に収まらなかった場合,任意の点群はそのまま変更をせず,選んだ点群と別の点群を選び同様の操作を行う. CENTER:#ref(make_pair.png,center,70%) CENTER:#ref(make_pair.png,center,100%) CENTER:図10: ペア作成後の点群画像 ペアの作成を行った結果が図10になる. 同一看板上にあるとしペアになった点群は同色でプロットされている *** 形状チェック [#aac086f6] ペア作成処理の終了後,作成したペアの形状情報と看板の形状情報に基づいた作成したペアが看板であるかどうか識別を行う. ペアの形状情報を求める. ペアになったクラスタリングされた点群の1番高い位置にある点と1番低い位置にある点を抽出する. その後,1番高い点同士,1番低い点同士の幅を求める. 次にペアとなっているクラスタリングされた点群の高さを求める. 求めたペアの幅とクラスタリングされた点群の高さが看板の形状情報である幅と高さから求めた閾値に収まるかどうか判定する. 形状情報に基づいた判定処理終了後,求めたペアの幅とクラスタリングされた点群の高さから形成される領域内にある点群の数で看板かどうか識別を行う. 領域内の点群が設定した閾値を超えたら看板として検出を行う. CENTER:#ref(002218.png,center,70%) CENTER:#ref(002218.png,center,100%) CENTER:図11: 形状チェック後の点群画像 形状チェック結果が図11になる. 作成した結果画像では看板として検出した点群に対して赤い矩形を描画する. *評価実験 [#q732f604] ** データセット [#ga38959e] 本実験では,つくばチャレンジの実験走行,大学構内で行った走行等で習得したログデータでの実験を行う. ログデータとして3D-LiDARで取得した3次元位置情報をポイントクラウド形式で出力したものと反射強度,水平方向での距離が含まれたテキスト形式ファイルを用いる. このテキスト形式ファイルを読み込んで3次元位置情報,反射強度を用いて提案手法での実験を行う. 実験で用いるログデータでは経路封鎖看板の点群が含まれているデータだけではなく,含まれていないデータでも実験を行う. つくばチャレンジでは,課題コース内で反射材が貼付されたゼッケンを身に着けた係がロボットの前方に存在している. ゼッケンの反射材部分の反射強度が再帰反射テープと同等な値を示す.そのためゼッケン部分を誤検出してしまう可能性が考えられる. ゼッケン部分を検出するかどうかを検証する. ログデータ総数800個での実験を行った. ログデータの内訳として,経路封鎖看板が含まれているデータが394個でそのうち経路封鎖看板が791個含まれている. 経路封鎖看板が含まれていないログデータは406個を用いる. ** 実験結果 [#i3fc3f50] 今回は点群画像を作成し, 作成した点群画像に対して検出結果を描画することで検出結果の確認を行う. 提案手法で述べた通り,結果画像となる点群画像では赤い矩形が描画されたものを経路封鎖看板として検出した物として考える. 実験の結果として点群画像上で表示される経路封鎖看板が検出されたものを正解,検出できていないものを不正解, 経路封鎖看板以外のものを経路封鎖看板として検出してしまったものを誤検出として扱う. 正解,不正解の捉え方として経路封鎖看板そのものを検出できているかどうかでカウントを行う. そのため,正解,不正解が混在する場合がある. 本実験での正誤例を図12,図13,図14で示す. 検出結果の分類として誤検出例を用意したが本実験では誤検出をすることがなかったため正誤例の中に 誤検出例の図は用いない. 図12では図中に含まれている2つの経路封鎖看板の点群に対して正しく検出できていることを示している. 図13のように図中に含まれている2つの経路封鎖看板を検出できていない場合もあり,図14のように, 2つの経路封鎖看板が存在していてもどちらか片方しか検出できていないことがある. CENTER:#ref(002214.png,center,70%) CENTER:#ref(002214.png,center,100%) CENTER:図12: 正解画像例 CENTER:#ref(000851.png,center,70%) CENTER:#ref(000851.png,center,100%) CENTER:図13: 不正解画像例 CENTER:#ref(000350.png,center,70%) CENTER:#ref(000350.png,center,100%) CENTER:図14: 正解と不正解が混在する画像例 |CENTER:データ数|CENTER:看板数|CENTER:検出数|CENTER:未検出数|CENTER:誤検出数|CENTER:検出率| |394|791|666|125|0|84.197%| CENTER:表1: 経路封鎖看板を含むログデータ群での検出結果 |CENTER:データ数|CENTER:看板数|CENTER:検出数|CENTER:未検出数|CENTER:誤検出数|CENTER:検出率| |406|0|0|0|0|0%| CENTER:表2: 経路封鎖看板を含まないログデータ群での検出結果 表1は経路封鎖看板を含むログデータ群394個を用いて行った実験結果である. 経路封鎖看板791個に対して検出率84.197%という結果になった. 表2は経路封鎖看板を含まないログデータ群406個に対して誤検出0という結果である. 結果に関する考察については考察にて述べる. *考察 [#kc8f8074] **未検出について [#i14b7ad0] 未検出について経路封鎖看板の傾きが距離による点群の欠損の2つの条件が挙げられる. この2つの条件について順に述べていく. ***経路封鎖看板の傾きについて [#be10e219] 経路封鎖看板の傾きによって未検出になってしまったことに関して述べる. 図15のようにカーブ上に経路封鎖看板が設置された場合での提案手法での検出を行う. CENTER:#ref(pandora_front_color_000845.jpg,center,50%) CENTER:図15: 点群の観測地点 CENTER:#ref(000845.png,center,70%) CENTER:#ref(000845.png,center,100%) CENTER:図16: 図15地点での検出 図16から経路封鎖看板の点群が検出できていることが見られるが,再帰反射テープの点群を検出できていない. 経路封鎖看板が傾いていることから正面から経路封鎖看板を計測できないことから再帰反射テープの点群を取得できなかった. 提案手法では再帰反射テープの点群から得られる情報を用いる. したがって経路封鎖看板の点群を経路封鎖看板として検出することができなかった. 経路封鎖看板の傾きがあると再帰反射テープの点群が計測できないことがある. 提案手法では経路封鎖看板に貼付された再帰反射テープの点群を用いるため, 経路封鎖看板の点群が取得できていたとしても, 再帰反射テープの点群が取得されていないと検出できない. ***距離による点群の欠損について [#c3941276] 距離による点群の欠損によって未検出になってしまったことに関して述べる. 図17のように離れた経路封鎖看板の点群でも提案手法での検出を行う. CENTER:#ref(pandora_front_color_002365.jpg,center,50%) CENTER:図17: 点群の観測地点 CENTER:#ref(002365.png,center,70%) CENTER:#ref(002365.png,center,100%) CENTER:図18: 図17地点での検出 CENTER:#ref(dist2365.png,center,70%) CENTER:#ref(dist2365.png,center,100%) CENTER:図19: 図17地点での距離による色分けの点群画像 右側の経路封鎖看板の点群は計測できているが,左側の経路封鎖看板の点群は計測でいない. 計測できている点群も貼付されている再帰反射テープの点群が計測できていない. したがって経路封鎖看板の検出ができていない. また,別の未検出パターンとして,再帰反射テープの点群が計測できていたとしても, 形状識別をする際に領域内にある経路封鎖看板の点群が少ないため未検出となることがある. 考えられる原因として距離による経路封鎖看板の点群の欠損が挙げられる. 本実験で用いた3D-LiDARでは約200mまで計測することができる. しかし,距離が離れると点群の解像度が低下しまい,検出に必要な点群が計測できないことがある. このタイプの未検出については閾値の設定を緩めることで検出することができる. 閾値の設定を緩めると問題が生じる. 誤検出が発生してしまう. そのことから未検出に対処するために閾値を緩めることが良いとは一概に結論付けられない. **誤検出について [#o93f36d6] 提案手法での誤検出に関して述べる. CENTER:#ref(pandora_front_color_000306.jpg,center,50%) CENTER:図20: 点群の観測地点 CENTER:#ref(000306.png,center,70%) CENTER:#ref(000306.png,center,100%) CENTER:図21: 図17地点での検出 再帰反射テープ以外で高い反射強度を示す図20のように反射材のゼッケンを身に着けた係が存在する. 反射材部分の点群は反射強度の高い点群として抽出されてしまう. そのため経路封鎖看板以外の点群を検出してしまう可能性があった. しかしながら,提案手法での実験では誤検出が0という結果になった. 考えられる要因としては閾値の設定を厳しく設定したことが挙げられる. 図21では反射材の部分が再帰反射テープとしてクラスタリングされている. しかし,経路封鎖看板としては検出されていない.クラスタリング後の経路封鎖看板の形状情報に基づいた 形状チェックで排除できている.形状チェックの閾値を厳しく設定したことが要因として挙げられる. そのため,本実験で設定した閾値より低く設定することで誤検出が生じると考えられる. 厳しい閾値によって本来検出するべき経路封鎖看板も排除されている. 実験に用いたデータセットではこのような反射材を経路封鎖看板として誤検出することはなかった. 誤検出を出さないような閾値に設定した結果,検出率は高いと結論付けられるものではなかった. しかし,先に述べた通り閾値を低く設定し検出率の向上を図ると誤検出が生じてしまうため検出率の向上は容易ではない *まとめ [#jb0c0073] 本論文では,つくばチャレンジにおける経路封鎖迂回課題達成のために経路封鎖看板を検出する手法を提案した. 提案手法では,経路封鎖看板に貼付されている再帰反射テープの特徴である反射強度が他の物体に比べて高くなるという点に着目し, 形状情報に基づいた3D-LiDARでの検出を行った. 提案手法の流れとして,まず3D-LiDARで観測した点群の内距離が1〜10mの点群のみ抽出する. 距離で抽出された点群の内反射強度の高い点群を抽出することで再帰反射テープだと思われる点群のみを操作できるようにする. 次に再帰反射テープの形状情報に基づいたクラスタリングを行うことで再帰反射テープの点群をテープごとに分類する. クラスタリングされた点群の内距離が近いもの同士でペアの作成を行う.このペアとなった点群は同一の経路封鎖看板に貼付されたものとする. 最後に作成したペアの形状情報と経路封鎖看板の形状情報で経路封鎖看板かどうかの識別を行う.識別する際に設定した閾値を満たした場合経路封鎖看板として検出する. 画像での検出手法も存在するが,屋外での検出になるため環境光などの影響を受けてしまう.提案手法は環境光などの影響を受けない堅牢な検出を行えると考える. 評価実験では,実際につくばチャレンジでの実験走行,大学構内での実験で取得したログデータでの経路封鎖看板の検出を行い, 提案手法がつくばチャレンジの経路封鎖迂回課題達成のための経路封鎖看板の検出に有効であることを示した. 今後の課題として,検出率の向上が挙げられる.提案手法では極力誤検出を出さないようにした結果検出率がやや低下してしまった. そのため検出率の向上を目指すために誤検出への対処等を新たに考案する必要がある.
