3D-LiDARを用いた人物追従システムの開発
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[太田研 公開用Wiki]]
#contents
*はじめに [#v0fbad28]
**研究背景 [#i5bd2877]
近年、ロボット技術の向上に伴い、農場や工場では追従型ロボ...
始めている。従来、人が運んでいたような農作物や道具を追従...
し、人物に追従させることによって運搬作業の省人化や作業員...
ながっており、作業員の重労働が減ることによって人間はロボ...
の他の作業に集中することができる。農業の担い手の減少が深...
作業の自動化は今後重視される課題である。
本研究では、これらの課題の達成を目標とした人物追従システ...
**研究目的 [#s3f7a595]
人物追従をするにあたってまず人物の検出を行う必要がある。
人物検出をするにあたって主にカメラ画像、ミリ波レーダー、3...
いた手法がある。カメラ画像は悪天候時に弱い。また、ミリ波...
言った問題点がある。
そのため、本研究では 3D-LiDAR を用いて人物追従システムを...
***ラベリングについて[#i2ac0620]
まず最初に本研究の提案手法のもとになったラベリング処理に...
画像処理におけるラベリングとは、2値化処理された画像に対し...
連続している部分を画素の連結成分とみなし番号を振り分ける...
位で独立して扱うための処理である。
この処理は通常、同じ番号ごとの面積や幅、高さなどの特徴量...
欠陥検査や分類処理などに用いられている。
ラベリング処理の流れを以下に示す。
1. 入力画像に対して2値化処理を行う
2. すべての画素のラベル番号を0で初期化
3. 2値化画像に対してラスタスキャンを行い、画素が白の位置...
4. 参照画素を検索し、その中で一番小さいものを、0の場合は...
に振った番号+1のラベル番号を付与
5. 上までの処理を繰り返し、番号が被ったものや抜けたものを...
ラベリング処理は2値化画像に対して白の部分の連結を判断する...
の処理をするためには閾値を決めて画素値を黒と白にしなけれ...
し、人物を検出するにあたって2値化処理をしてしまうと人が黒...
状態など、ラベルを付与したい状況でもできない場合が予想さ...
ベリング手法をもとに提案手法の節で述べる距離画像のクラス...
うものを行う。
**提案手法 [#v691968b]
***点群の下処理 [#mbd99885]
3D-LiDAR からは点群と呼ばれるデータ形式でデータを取得する...
点群データにはレーザ光が反射した地点の3次元座標とその地点...
が格納されている。
本研究では得られた点群の三次元座標データを使用した。
ここでは得られたデータ内の三次元座標 (x,y,z) をユークリッ...
に変換する処理を行った。
***距離画像の生成 [#uea0c256]
ここの処理では通常、図1のようにカメラ画像には画素値に色情...
素値に距離の情報を入れた画像を作成した。ここでは作成した...
画像と呼ぶことにする。
距離画像は本来2次元型の配列であり、画像として表示すること...
で作成した距離画像を人間が見やすいように疑似カラー表示し...
の図2に示す。
CENTER:&ref(camera.png,center,80%); &ref(cameradist....
CENTER:図1:カメラ画像, 図2:疑似カラー表示したカメラ画像
距離画像作成の流れを以下に示す。
1. 画像のサイズを指定
2. 点群の座標を極座標に変換
3. 変換した座標と対応する画素に距離情報を格納
4. 参照画素を検索し、その中で一番小さいものを、0の場合は...
に振った番号+1のラベル番号を付与
5. 上までの処理を繰り返し、番号が被ったものや抜けたものを...
次に処理の詳しい流れについて述べる。
まず、作成する画像の枠組みを作成する。本研究で使用した 3D...
分解能が 0.36、垂直分解能が 1.00 の物である。また本来、使...
水平 360 °垂直 32 °の点群を取得する事ができるが、本研究で...
することを想定しているため、前方の水平 120 度に限定して点...
れらのことから作成する距離画像の大きさは縦 32、横 120/0.3...
ズとした。
ここでロボット座標と画像座標について述べる。ロボット座標...
うに正面が x 軸、横が y 軸、縦が z 軸となっており、点群デ...
で格納されている。またスクリーン座標系とは図4のように左上...
に x 軸、下に y 軸が伸びている座標系で画像処理の際などに...
CENTER:&ref(robotcoodinate.png,center,20%); &ref(img...
CENTER:図3:ロボット座標系, 図4:スクリーン座標系
距離画像は点群を取得した座標に対応する距離情報を入れてい...
る。そのためロボット座標系をスクリーン座標系に変換し、点...
標から奥行きを消去した2次元座標へ変換を行った。その後、得...
タの距離情報を対応する画素に 1 つずつ入れる事によって距離...
***クラスタリング [#h07498b3]
クラスタリングとは、データ間の類似度に基づき、データをい...
プに分ける手法のことである。
本研究では前節で述べた画像処理のラベリング処理をもとに距...
の距離情報をもとに画素をグループ分けすることで物体の検出...
はこの処理のことを距離画像のクラスタリングと呼ぶ。クラス...
いてもラベリング処理と同様に参照画素は注目画素の左、左上...
手法の流れを以下に示す。
1. 距離画像のすべての画素に対して左上から右下へラスタスキ...
を行う
2. 注目画素と参照画素の差が、0.1m 以下の場合かつ参照画素...
ルが付与されていた場合同じラベルを付与。また、参照画素にラ
ベルが付与されていなかった場合、前回付与したラベル+1のラ
ベルを付与。
3. 上までの処理を繰り返し、ラベリング処理のときと同様に番...
被ったものや抜けたものを修正
以下の図5は距離画像の一部を拡大したものであり、図6は図5の...
ング結果である。
CENTER:&ref(distpick.png,center,20%); &ref(clustacon...
CENTER:図5:距離画像の一部を拡大した図, 図6:図5のクラスタ...
***人物追従 [#n47651dc]
前小節では距離画像内のすべての物体を検出した。しかし、本...
を追従することである人物の特徴としてある程度の大きさがあ...
るという特徴がある。そのため、閾値より小さくクラスタリン...
ズとして消去した。その上で検出されたすべての物体を黒の矩...
たその中で矩形の中心点の画素値内の距離が一番近いものを人...
象とした。
以下の図7に作成した距離画像を擬似カラー表示したものに矩形...
人物以外のノイズを処理する閾値を決定する際に縦を長く、横...
め壁などの縦長の物を多く検出している。ここで得られた追従...
標をロボットに渡すことにより追従させた。
CENTER:#ref(distrect.png,center,45%)
CENTER:図7: 距離画像のクラスタリング結果
*評価実験 [#z03dce73]
本研究では群馬大学桐生キャンパス 6 号館前で人物がロボット...
によって追従実験を行った。
**実験結果 [#l16f07a1]
実験結果を以下の図8、9、10に示す。前方の人物が右方向に進...
進み、前方の人物が左方向に進むとロボットも左方向に進んで...
このことから追従実験は成功していることがわかる。
CENTER:&ref(following1.jpg,center,25%);
CENTER:&ref(following2.jpg,center,25%);
CENTER:&ref(following3.jpg,center,25%);
CENTER:図8,9,10: 人物追従実験結果
*考察 [#c9ccbccd]
**誤検出例 [#t290e905]
研究開始時には常に前に人がいる状態を想定していたが、実環...
合に以下の 2 つの誤検出が発生してしまうことが考えられる。
***探索範囲に壁などが存在する場合 [#n705de45]
探索範囲に壁などの縦長の障害物が存在する場合、壁と追従対...
かず、壁の方向へ進んでしまった。
以下の図11、図12、図13 に誤検出の様子を
示す。
CENTER:&ref(wall1.jpg,center,25%);
CENTER:&ref(wall2.jpg,center,25%);
CENTER:&ref(wall3.jpg,center,25%);
CENTER:図11,12,13: 誤検出例①
***ロボットと追従対象の間を人が横切った場合 [#s6d62d83]
ロボットと追従対象の間を人が横切った場合、追従対象の人物...
との区別ができずに横切った人物の方を追従してしまった。
以下の図14、図15、図16 に誤検出の様子を示す。
CENTER:&ref(closs1.jpg,center,25%);
CENTER:&ref(closs2.jpg,center,25%);
CENTER:&ref(closs3.jpg,center,25%);
CENTER:図14,15,16: 誤検出例②
*今後の展望[#v64a11db]
前節の誤検出で述べたとおり探索範囲に壁などが存在する場合...
従対象の間を人が横切った場合の2つの場面で誤検出が発生して...
は、追従対象の人物と他の物の区別がつかずに別のものを追従...
原因である。そのため、これらの誤検出を減らすためには追従...
以外との区別をつけられるような新しい条件を加える必要があ...
本研究では追従を行う際に 3D-LiDAR から得られた点群の距離...
像を作成した。点群には3次元座標の他に反射強度情報が格納さ...
ため、同じ 3D-LiDAR から得られる情報として反射強度に注目...
以下の図17はロボットの前に上下異なる色や材質の服を着た人...
態の点群データ取得時のカメラ画像である。また、図18 は距離...
する座標に反射強度を入れていき、作成した反射強度画像を疑...
ものである。
CENTER:&ref(refcamera.jpg,center,18%); &ref(refimg.p...
CENTER:図17:カメラ画像, 図18:疑似カラー表示した反射強度画像
2つの画像から服の色や材質によって反射強度は異なることがわ...
そのため、今後の展望として点群の反射強度情報を追従対象を...
して加え、誤検出の減少を目指す。
*参考文献 [#n9ee06a4]
[1] “OpenCV.jp opencv samples and documents“,
http://opencv.jp
[2] 塚田 義典, 北川 悦司, 田中 成典, 安彦 智史, 福島 佑樹...
いた3次元空間の構築に関する研究 “, 土木学会論文集 F3(土木...
No.2, I 171-I 180, 2005.
終了行:
[[太田研 公開用Wiki]]
#contents
*はじめに [#v0fbad28]
**研究背景 [#i5bd2877]
近年、ロボット技術の向上に伴い、農場や工場では追従型ロボ...
始めている。従来、人が運んでいたような農作物や道具を追従...
し、人物に追従させることによって運搬作業の省人化や作業員...
ながっており、作業員の重労働が減ることによって人間はロボ...
の他の作業に集中することができる。農業の担い手の減少が深...
作業の自動化は今後重視される課題である。
本研究では、これらの課題の達成を目標とした人物追従システ...
**研究目的 [#s3f7a595]
人物追従をするにあたってまず人物の検出を行う必要がある。
人物検出をするにあたって主にカメラ画像、ミリ波レーダー、3...
いた手法がある。カメラ画像は悪天候時に弱い。また、ミリ波...
言った問題点がある。
そのため、本研究では 3D-LiDAR を用いて人物追従システムを...
***ラベリングについて[#i2ac0620]
まず最初に本研究の提案手法のもとになったラベリング処理に...
画像処理におけるラベリングとは、2値化処理された画像に対し...
連続している部分を画素の連結成分とみなし番号を振り分ける...
位で独立して扱うための処理である。
この処理は通常、同じ番号ごとの面積や幅、高さなどの特徴量...
欠陥検査や分類処理などに用いられている。
ラベリング処理の流れを以下に示す。
1. 入力画像に対して2値化処理を行う
2. すべての画素のラベル番号を0で初期化
3. 2値化画像に対してラスタスキャンを行い、画素が白の位置...
4. 参照画素を検索し、その中で一番小さいものを、0の場合は...
に振った番号+1のラベル番号を付与
5. 上までの処理を繰り返し、番号が被ったものや抜けたものを...
ラベリング処理は2値化画像に対して白の部分の連結を判断する...
の処理をするためには閾値を決めて画素値を黒と白にしなけれ...
し、人物を検出するにあたって2値化処理をしてしまうと人が黒...
状態など、ラベルを付与したい状況でもできない場合が予想さ...
ベリング手法をもとに提案手法の節で述べる距離画像のクラス...
うものを行う。
**提案手法 [#v691968b]
***点群の下処理 [#mbd99885]
3D-LiDAR からは点群と呼ばれるデータ形式でデータを取得する...
点群データにはレーザ光が反射した地点の3次元座標とその地点...
が格納されている。
本研究では得られた点群の三次元座標データを使用した。
ここでは得られたデータ内の三次元座標 (x,y,z) をユークリッ...
に変換する処理を行った。
***距離画像の生成 [#uea0c256]
ここの処理では通常、図1のようにカメラ画像には画素値に色情...
素値に距離の情報を入れた画像を作成した。ここでは作成した...
画像と呼ぶことにする。
距離画像は本来2次元型の配列であり、画像として表示すること...
で作成した距離画像を人間が見やすいように疑似カラー表示し...
の図2に示す。
CENTER:&ref(camera.png,center,80%); &ref(cameradist....
CENTER:図1:カメラ画像, 図2:疑似カラー表示したカメラ画像
距離画像作成の流れを以下に示す。
1. 画像のサイズを指定
2. 点群の座標を極座標に変換
3. 変換した座標と対応する画素に距離情報を格納
4. 参照画素を検索し、その中で一番小さいものを、0の場合は...
に振った番号+1のラベル番号を付与
5. 上までの処理を繰り返し、番号が被ったものや抜けたものを...
次に処理の詳しい流れについて述べる。
まず、作成する画像の枠組みを作成する。本研究で使用した 3D...
分解能が 0.36、垂直分解能が 1.00 の物である。また本来、使...
水平 360 °垂直 32 °の点群を取得する事ができるが、本研究で...
することを想定しているため、前方の水平 120 度に限定して点...
れらのことから作成する距離画像の大きさは縦 32、横 120/0.3...
ズとした。
ここでロボット座標と画像座標について述べる。ロボット座標...
うに正面が x 軸、横が y 軸、縦が z 軸となっており、点群デ...
で格納されている。またスクリーン座標系とは図4のように左上...
に x 軸、下に y 軸が伸びている座標系で画像処理の際などに...
CENTER:&ref(robotcoodinate.png,center,20%); &ref(img...
CENTER:図3:ロボット座標系, 図4:スクリーン座標系
距離画像は点群を取得した座標に対応する距離情報を入れてい...
る。そのためロボット座標系をスクリーン座標系に変換し、点...
標から奥行きを消去した2次元座標へ変換を行った。その後、得...
タの距離情報を対応する画素に 1 つずつ入れる事によって距離...
***クラスタリング [#h07498b3]
クラスタリングとは、データ間の類似度に基づき、データをい...
プに分ける手法のことである。
本研究では前節で述べた画像処理のラベリング処理をもとに距...
の距離情報をもとに画素をグループ分けすることで物体の検出...
はこの処理のことを距離画像のクラスタリングと呼ぶ。クラス...
いてもラベリング処理と同様に参照画素は注目画素の左、左上...
手法の流れを以下に示す。
1. 距離画像のすべての画素に対して左上から右下へラスタスキ...
を行う
2. 注目画素と参照画素の差が、0.1m 以下の場合かつ参照画素...
ルが付与されていた場合同じラベルを付与。また、参照画素にラ
ベルが付与されていなかった場合、前回付与したラベル+1のラ
ベルを付与。
3. 上までの処理を繰り返し、ラベリング処理のときと同様に番...
被ったものや抜けたものを修正
以下の図5は距離画像の一部を拡大したものであり、図6は図5の...
ング結果である。
CENTER:&ref(distpick.png,center,20%); &ref(clustacon...
CENTER:図5:距離画像の一部を拡大した図, 図6:図5のクラスタ...
***人物追従 [#n47651dc]
前小節では距離画像内のすべての物体を検出した。しかし、本...
を追従することである人物の特徴としてある程度の大きさがあ...
るという特徴がある。そのため、閾値より小さくクラスタリン...
ズとして消去した。その上で検出されたすべての物体を黒の矩...
たその中で矩形の中心点の画素値内の距離が一番近いものを人...
象とした。
以下の図7に作成した距離画像を擬似カラー表示したものに矩形...
人物以外のノイズを処理する閾値を決定する際に縦を長く、横...
め壁などの縦長の物を多く検出している。ここで得られた追従...
標をロボットに渡すことにより追従させた。
CENTER:#ref(distrect.png,center,45%)
CENTER:図7: 距離画像のクラスタリング結果
*評価実験 [#z03dce73]
本研究では群馬大学桐生キャンパス 6 号館前で人物がロボット...
によって追従実験を行った。
**実験結果 [#l16f07a1]
実験結果を以下の図8、9、10に示す。前方の人物が右方向に進...
進み、前方の人物が左方向に進むとロボットも左方向に進んで...
このことから追従実験は成功していることがわかる。
CENTER:&ref(following1.jpg,center,25%);
CENTER:&ref(following2.jpg,center,25%);
CENTER:&ref(following3.jpg,center,25%);
CENTER:図8,9,10: 人物追従実験結果
*考察 [#c9ccbccd]
**誤検出例 [#t290e905]
研究開始時には常に前に人がいる状態を想定していたが、実環...
合に以下の 2 つの誤検出が発生してしまうことが考えられる。
***探索範囲に壁などが存在する場合 [#n705de45]
探索範囲に壁などの縦長の障害物が存在する場合、壁と追従対...
かず、壁の方向へ進んでしまった。
以下の図11、図12、図13 に誤検出の様子を
示す。
CENTER:&ref(wall1.jpg,center,25%);
CENTER:&ref(wall2.jpg,center,25%);
CENTER:&ref(wall3.jpg,center,25%);
CENTER:図11,12,13: 誤検出例①
***ロボットと追従対象の間を人が横切った場合 [#s6d62d83]
ロボットと追従対象の間を人が横切った場合、追従対象の人物...
との区別ができずに横切った人物の方を追従してしまった。
以下の図14、図15、図16 に誤検出の様子を示す。
CENTER:&ref(closs1.jpg,center,25%);
CENTER:&ref(closs2.jpg,center,25%);
CENTER:&ref(closs3.jpg,center,25%);
CENTER:図14,15,16: 誤検出例②
*今後の展望[#v64a11db]
前節の誤検出で述べたとおり探索範囲に壁などが存在する場合...
従対象の間を人が横切った場合の2つの場面で誤検出が発生して...
は、追従対象の人物と他の物の区別がつかずに別のものを追従...
原因である。そのため、これらの誤検出を減らすためには追従...
以外との区別をつけられるような新しい条件を加える必要があ...
本研究では追従を行う際に 3D-LiDAR から得られた点群の距離...
像を作成した。点群には3次元座標の他に反射強度情報が格納さ...
ため、同じ 3D-LiDAR から得られる情報として反射強度に注目...
以下の図17はロボットの前に上下異なる色や材質の服を着た人...
態の点群データ取得時のカメラ画像である。また、図18 は距離...
する座標に反射強度を入れていき、作成した反射強度画像を疑...
ものである。
CENTER:&ref(refcamera.jpg,center,18%); &ref(refimg.p...
CENTER:図17:カメラ画像, 図18:疑似カラー表示した反射強度画像
2つの画像から服の色や材質によって反射強度は異なることがわ...
そのため、今後の展望として点群の反射強度情報を追従対象を...
して加え、誤検出の減少を目指す。
*参考文献 [#n9ee06a4]
[1] “OpenCV.jp opencv samples and documents“,
http://opencv.jp
[2] 塚田 義典, 北川 悦司, 田中 成典, 安彦 智史, 福島 佑樹...
いた3次元空間の構築に関する研究 “, 土木学会論文集 F3(土木...
No.2, I 171-I 180, 2005.
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
