太田研 公開用Wiki

つくばチャレンジにおける3D-LiDARを用いた経路封鎖看板の検出手法

はじめに

現在,実用化されているロボットの多くは限定された状況下でのみ運用されている. そのような現状で実環境下においてロボットと人間の共存と自律走行技術の発展を目指すつくばチャレンジという公開実験が存在する. つくばチャレンジとは,つくば市の市街地で移動ロボットを自律走行させる技術チャレンジであり, 課題コースの自律走行の必須課題加えて,選択課題が課されている.このつくばチャレンジに太田研究室では毎年参加している.

2019年度では,課題コースが約2.5kmとなっており公開されている地図では図のように表される. 選択課題として事前データ取得なし走行,信号認識横断,チェックポイント通過+経路封鎖迂回,探索対象発見が出題されている. 選択課題の経路封鎖迂回では,課題コースの一部となっている研究学園前公園内に通行を禁止する経路封鎖看板が数カ所に設置されている. 道の両端に経路封鎖看板を設置することで経路封鎖を示す.経路封鎖看板の設置場所は事前に提示されない. そのため,ロボットは経路封鎖看板を自律的に認識して物理的に通れるが経路を封鎖されているとして別の経路に再計画を行い, 迂回することが求められている. 本研究では,3D-LiDARセンサを用いて経路封鎖看板を検出する手法を提案する. 3D-LiDARセンサでは物体の座標,反射強度等のデータを計測する. 検出対象となる経路封鎖看板の両端に再帰反射テープが貼られている.再帰反射テープの特徴として反射強度の値が他の物体に比べて高くなる. 提案手法では再帰反射テープの反射強度が高くなることに着目し,3D-LiDARセンサを用いた検出を行う.

corse.png
図1: 2019年度課題コース

反射強度による検出手法

検出する経路封鎖看板について

経路封鎖看板の形状は本体サイズがW330✕H887(mm)に,有効表示サイズはW300✕H760(mm)となっている. 経路封鎖迂回の課題では研究学園前公園内に数カ所設置されている. 公園内の数カ所設置にされており,設置されている場所では図2のように看板を2個を道の端に並べて設置される. 図2の設置する際の道幅は5mとなっているが,2m,3mの道幅にも設置される.

road-closed_5m.jpg
図2: 経路封鎖看板の設置例

経路封鎖看板は図3のように看板の両サイドに再帰反射テープが貼り付けられている. 再帰反射テープとは,光がどのような方向から当たったとしても光源に向かってそのまま反射する光学的特徴を兼ね備えたテープとなっている. そのため,フラッシュ撮影を行うと図3のようにテープが貼られている部分が白く発光する. 再帰反射テープの光学的特徴によって反射強度が高くなる.

signboard.jpg
図3: 経路封鎖看板のフラッシュ撮影

検出に用いるセンサについて

本研究では,経路封鎖看板の検出を行う際に3D-LiDARセンサを用いる. 3D-LiDARセンサとは,レーザー光を対象物に照射して対象物との距離を三次元的に測定するセンサである.

lidar.jpg
図4: 用いた3D-LiDAR

本実験で扱う3D-LiDARセンサでは対象物の3次元座標,反射強度を測定する. 測定された座標の出力は点群出力で行われる. 測定可能距離は0.3〜200mになっている. 3D-LiDARから取得した点群を用いて周囲環境を描画することが可能である. 実際に図5で観測した点群を距離情報と反射強度について描画したものが図6,図7になる.

pandora_front_color_002218.jpg
図5: 点群の観測地点
dist.png
図6: 距離情報に基づいた色分けの点群画像
reflect.png
図7: 反射強度に基づいた色分けの点群画像

経路封鎖看板の検出方法

提案方法では,経路封鎖看板の両端に反射強度の高い再帰反射テープが貼られていることに着目し,3D-LiDARセンサを用いて検出を行う. 提案手法の大まかな流れを示す.

  1. 観測された点群の入力
    • 入力データは3次元の座標,反射強度.
  2. 点群の下処理
    • 点群に対して距離と反射強度に関して抽出を行う.
    • 抽出した点群に対してソートを行う.
  3. クラスタリング
    • 点群に対して再帰反射テープの形状情報を元にクラスタリングを行う.
  4. ペアの作成
    • クラスタリングされた点群に対して看板の形状情報を元に位置が近い同士でペアを作成.
  5. 形状チェック
    • ペアの形状情報看板の形状情報を元に看板かどうか識別を行う.
  6. 結果出力

以降は提案手法の大まかな流れに沿って述べる. 述べる際に図5の地点で観測した点群を用いて処理ごとに点群画像を作成する.

点群の下処理

入力された観測された点群に対して下処理を行う. まず入力された点群の中で距離が1〜10mにある点群のみを抽出する. 点群の距離が離れれば離れるほど点群の解像度が低くなるため物体の認識が困難になる. そのことから点群が高い解像度を保った状態で処理ができるように扱う点群の距離を制限する. また,点群との距離が離れることによって点群の欠損が生じ,正しく物体の認識ができないことや,反射強度が正しく取得でいないことがある.

次に距離によって抽出された点群の中にある再帰反射テープだと思われる点群を抽出する. 再帰反射テープは他の物体に比べて反射強度が高い値を返すため, 距離によって抽出された点群の内,反射強度の高い点群を抽出することで再帰反射テープだと思われる点群のみ取り扱うことができる.

最後に抽出された点群に対して高さに関しての昇順ソートを行う. この後にクラススタリングを行う際,点群が高さに関して並んでいたほうがクラスタリング処理が容易になる.

点群に対して下処理を行った結果の点群画像が図8となる. 点群は白でプロットを行ったが,反射強度の高い点群のみ青色でプロットを行った.

processing_pc.png
図8: 下処理後の点群画像

クラスタリング

点群の下処理の終了後,次は下処理した点群に対してクラスタリングを行う. クラスタリング処理では再帰反射テープの形状情報に基づいて点群から再帰反射テープだと考えられる点群を抽出する. 順を追ってクラスタリング処理について述べる.

まず,下処理を行った点群の内基準点となる点を任意に定める. 次にこの点より高い位置にあり,かつ左右0.06m,奥行き0.08mの範囲に収まる点を探索する.

条件を満たす点が見つかった場合,基準点を保存し,条件を満たした点を次の基準点とし同様の操作を行う.

条件を満たす点が見つからなかった場合,保存された点群の高さを求める.この高さが再帰反射テープの形状情報に基づいた閾値を満たした場合, その点群を再帰反射テープとしてクラスタリングする. クラスタリングできなかった場合,今の基準点とは異なった任意の点を基準点とし同様の操作を行う. 一連の操作を基準点が設定できなくなるまで行う.

clustering.png
図9: クラスタリング後の点群画像

クラスタリング処理を行った結果が図9になる. クラスタリングされた再帰反射テープごとに色を変更し,プロットを行った.

ペアの作成

クラスタリング処理の終了後,クラスタリングされた再帰反射テープだと考えられる点群の 位置が近い同士でペアの作成を行う.

まずクラスタリングされた点群の中から任意の点群を選ぶ. 任意の点群とそれ以外のクラスタリングされた点群を1つ選び点群同士の幅と奥行きの差を求める. 位置が近い同士を探索する際に幅だけでなく奥行きの差をチェックをする必要がある. つくばチャレンジの課題コース中に再帰反射テープ以外の反射材を身に着けた安全管理責任者という係がロボットに追従する. 係が身につけている反射材の部分を再帰反射テープとクラスタリングしてしまい, 幅だけであると正しくペアを作成できない可能性がある. そのため,奥行きの差をチェックすることで正しくペアの作成ができない可能性を減らすようにした.

求めた幅と奥行きの差が閾値に収まったらその点群同士は同一看板上にあると考え,ペアとして点群を保存をする. その後,任意の点群を選び直し同様の操作を行う. 閾値に収まらなかった場合,任意の点群はそのまま変更をせず,選んだ点群と別の点群を選び同様の操作を行う.

make_pair.png
図10: ペア作成後の点群画像

ペアの作成を行った結果が図10になる. 同一看板上にあるとしペアになった点群は同色でプロットされている

形状チェック

ペア作成処理の終了後,作成したペアの形状情報と看板の形状情報に基づいた作成したペアが看板であるかどうか識別を行う.

ペアの形状情報を求める. ペアになったクラスタリングされた点群の1番高い位置にある点と1番低い位置にある点を抽出する. その後,1番高い点同士,1番低い点同士の幅を求める. 次にペアとなっているクラスタリングされた点群の高さを求める. 求めたペアの幅とクラスタリングされた点群の高さが看板の形状情報である幅と高さから求めた閾値に収まるかどうか判定する.

形状情報に基づいた判定処理終了後,求めたペアの幅とクラスタリングされた点群の高さから形成される領域内にある点群の数で看板かどうか識別を行う. 領域内の点群が設定した閾値を超えたら看板として検出を行う.

002218.png
図11: 形状チェック後の点群画像

形状チェック結果が図11になる. 作成した結果画像では看板として検出した点群に対して赤い矩形を描画する.

評価実験

データセット

本実験では,つくばチャレンジの実験走行,大学構内で行った走行等で習得したログデータでの実験を行う. ログデータとして3D-LiDARで取得した3次元位置情報をポイントクラウド形式で出力したものと反射強度,水平方向での距離が含まれたテキスト形式ファイルを用いる. このテキスト形式ファイルを読み込んで3次元位置情報,反射強度を用いて提案手法での実験を行う.

実験で用いるログデータでは経路封鎖看板の点群が含まれているデータだけではなく,含まれていないデータでも実験を行う. つくばチャレンジでは,課題コース内で反射材が貼付されたゼッケンを身に着けた係がロボットの前方に存在している. ゼッケンの反射材部分の反射強度が再帰反射テープと同等な値を示す.そのためゼッケン部分を誤検出してしまう可能性が考えられる. ゼッケン部分を検出するかどうかを検証する.

ログデータ総数800個での実験を行った. ログデータの内訳として,経路封鎖看板が含まれているデータが394個でそのうち経路封鎖看板が791個含まれている. 経路封鎖看板が含まれていないログデータは406個を用いる.

実験結果

今回は点群画像を作成し, 作成した点群画像に対して検出結果を描画することで検出結果の確認を行う. 提案手法で述べた通り,結果画像となる点群画像では赤い矩形が描画されたものを経路封鎖看板として検出した物として考える.

実験の結果として点群画像上で表示される経路封鎖看板が検出されたものを正解,検出できていないものを不正解, 経路封鎖看板以外のものを経路封鎖看板として検出してしまったものを誤検出として扱う. 正解,不正解の捉え方として経路封鎖看板そのものを検出できているかどうかでカウントを行う. そのため,正解,不正解が混在する場合がある.

本実験での正誤例を図12,図13,図14で示す. 検出結果の分類として誤検出例を用意したが本実験では誤検出をすることがなかったため正誤例の中に 誤検出例の図は用いない.

図12では図中に含まれている2つの経路封鎖看板の点群に対して正しく検出できていることを示している. 図13のように図中に含まれている2つの経路封鎖看板を検出できていない場合もあり,図14のように, 2つの経路封鎖看板が存在していてもどちらか片方しか検出できていないことがある.

002214.png
図12: 正解画像例
000851.png
図13: 不正解画像例
000350.png
図14: 正解と不正解が混在する画像例
データ数看板数検出数未検出数誤検出数検出率
394791666125084.197%
表1: 経路封鎖看板を含むログデータ群での検出結果
データ数看板数検出数未検出数誤検出数検出率
40600000%
表2: 経路封鎖看板を含まないログデータ群での検出結果

表1は経路封鎖看板を含むログデータ群394個を用いて行った実験結果である. 経路封鎖看板791個に対して検出率84.197%という結果になった. 表2は経路封鎖看板を含まないログデータ群406個に対して誤検出0という結果である. 結果に関する考察については考察にて述べる.

考察

まとめ


トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS