![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
平成30年度の厚生労働省の調査結果によると、全国の難病患者の数は、約90万人に上るという報告がなされている[1]。特に、パーキンソン病やALS(筋萎縮性側索硬化症)、SMA(脊髄性萎縮性症)などの神経難病患者にとって、
QOL(Quality of Life)を向上させることは重要な課題となっている[2]。これらの患者にとって自分の意図を表示する意思伝達装置の確保は必要不可欠であり、意思伝達装置の例としては、インターフェースを介して文章を作成し、音声合成による会話やメールをしたり、テレビのリモコンとして機能する伝の心((株)日立ケーイーシステムズ[3])や脳から筋肉に送られる微弱な生体電位信号(筋活動以外で随時にコントロールできる生体信号)を検出することにより、「はい・いいえ」の意思表示やナースコールの呼び出しが可能とするCyin(ダブル技研(株)[4])などが開発されている(図. )。
意思伝達装置を操作するために、これまでに様々なインターフェースが提案されており[5]、脳性麻痺児のためのインターフェース(マウス、トラックボール、タッチパッド、ジョイスティック)の操作効率についての検証や[6]また、ピエゾ式のスイッチを用いて玩具を操作する課題を通して、重度・重複障害児の自己調整を高める支援[7]などの取り組みも行われている。
そんな中、操作部位の稼働範囲や患者の症状によっては、装置に触れられない状況や体に装着できない場合、稼働部位の動作が微小で装置を稼働するだけの力が得られない場合がある。
微小な動きを反映されたものとしては、作動圧の小さい物理ボタンスイッチ、患者の体に直接貼り付け、皮膚ひずみをON/OFF信号に変換するピエゾスイッチ、センサ部のエアバックを触れることで反応するニューマティックセンサ
などが一般的に使用されている(図. 1)。
しかし、ピエゾ式スイッチは患者の稼働部に直接貼り付けて使用するという特徴から、長時間の使用によるテープの劣化・剥離が生じたり、患者の肌に無理な緊張による皮膚炎を引き起こす可能性もある。こういった点から、非接触かつ微小動作を検出可能な新しいインターフェースの開発は患者・介護者双方の負担の軽減につながると考えられる。
本研究では親指の内転動作および外転動作に着目し、非接触で患者の親指動作を検出し、デバイスの操作が可能なインターフェースの開発を目的とした。実際の親指の動きをFig. 3に示す。非接触での動作認識を行うためのセンサーには、カメラを使用した。カメラから取得した動画像から人体動作の解析や動作検出を行う研究は盛んに行われており、時系列画像から物体の移動ベクトルを推定可能なオプティカルフローという手法を用いて、表情の動作の認識[8]や、機械学習と組み合わせて動作の判定への取り組み[9]が実施されている。 非接触インターフェースの開発と合わせて、オプティカルフローによって求めた移動ベクトルによって親指動作の有無を判定する手法の検討とその手法の精度評価を行なった。
装置の概略を図.、実際の装置画像を図.に示す。図.に示されるように、パソコンに接続されたカメラ(LogicoolC615n)を卓上から 250mmの位置で固定し、使用者の手元を撮影する。撮影された画像は、リアルタイムでPC(RaspberryPi 4B)に取り込まれ、指の動きの検出を行う。本システムでは、親指の動きに着目した。親指の動きが検出された場合、接続されたデバイスに対して、スイッチング回路を通して出力信号が送信される。デバイスへの出力には意思伝達装置で多く採用されているΦ3.5mmのモノラルプラグを使用した。
作成したスイッチング回路を図.に示す。スイッチング回路はNチャネルのMOSFETとメカニカルリレーによって構成されている。 MOSFETのゲートはGPIOに接続されており、ドレインは電源(5V)、ソースはメカニカルリレーのコイルを介してGNDに接続されている。メカニカルリレーのリレーの両端はモノラルプラグの両極に接続されている。 PC(RaspberryPi 4)内で動作が検出された場合、GPIOからMOSFETのゲートへと入力信号が送られる。 これにより、メカニカルリレーのコイルにソース電流が流れ、リレー部分が開通することでモノラルプラグから信号が出力される。
撮影画像およびHSVの肌色情報を利用して二値化を行った場合の画像をFig. 3に示す．二値化画像（図(b)）において，まず主成分分析により第1主成分軸（一点鎖線）および重心を求めた．親指の検出範囲は，図(c)に示されるように重心に対する極座標で表され，動径，偏角，それぞれの範囲は，図に示すように，r_minからr_max，θ_minからθ_maxとした．
親指の動きについて，移動ベクトルを用いて検出を行った．ここでは，信頼性指標を持つ移動ベクトルの検出[4]を適用した．実際に親指の動きを検出した様子をFig. 4に示す．図に示されるように，内転および外転の動きに対して，図中の下方向および上方向にベクトルが表示されている様子が確認できる．多数検出されるベクトルは，それぞれ同じ方向を向いており，Fig. 3の第1主分軸に対してほぼ直行している．5名の被験者について，親指の内転および外転を行ったところ, 親指はいずれの被験者についてもほぼ同じ方向に動いており，内転は5名の平均で51.16[°]，外転は -119.04[°]であり．それぞれの標準偏差は，22.8[°]および25.3[°]であった．本システムでは，得られた平均値から標準偏差を加減した値をフローの最大角度および最小角度とし，この角度範囲内で検出されたベクトルの本数を動きの認識に用いた．Fig. 5に認識されたベクトルの本数の時系列波形の例を示す．図中の実線は内転，点線は外転の動きによって検出されたベクトルの数を表している．図の波形より，内転および外転の動きによって，それぞれのベクトルの数が増減している様子が確認できる。ここでは，閾値を設定することで，内転および外転の認識を行うこととした．
本システムを評価するために検証実験を行なった。実験は室内照明下で行った。 被験者は椅子に座った状態で掌を机上面に置き、親指の内転および外転の動きを50回繰り返すように指示を出された。 この時の動きを本システムで捉え、親指の動きの認識率について求めた。
実験結果を図.に示す。表は5名の被験者についてまとめたものである。 表に示されるように、いずれの被験者も内転及び外転の動きが高い認識率で検出されていることが分かる。 特に、被験者Dは全ての動きに対して正確に認識がなされていた。 なお、親指の動きが微小の場合には未検出となっており、ベクトルの数が閾値を超えなかったために 生じたと考えられる。また、意図しない手の震えによって、親指の往復運動が生じたために内転及び外転が 認識された場合には、誤検出が生じた。
実験の結果、本システムでは9割以上の精度で内転、外転の動作を検出することができることがわかった。 一方で、本システムでは未検出や誤検出が発生することがわかった。 以下に、発生した未検出、誤検出に対する考察を示す。
本システムでは、被験者５名うち４名の動作セットに未検出が生じた。 そもそもオプティカルフロー自体の検出ができていなかったことが原因であった。 今回、画像からオプティカルフローを求める際には、画像上の小領域(ブロック)Sでは、オプティカルフローは 一定であるという仮定を用いることで求まる拘束式を利用することで、オプティカルフローを求めている。 S領域が大きいほど、広範囲の画像パターンに対するオプティカルフローを求めることになる。つまり、細かいパターンや 細かい動きに関しては過小評価される。 微小動作に対してS領域の大きさが小さかったことが未検出の原因であると考えられる。
未検出を防ぐ方法として、
・領域Sを小さくする
・撮影フレーム速度を落とす
ことが挙げられる。
領域Sを小さくすることで、より狭い範囲でオプティカルフローを求めることができ、これにより微小動作に対応できると考えられる。 欠点としては、領域Sを小さくすることは、画像上の注目画素が増えることになり、計算量が増え、処理に時間がかかる。 一方で、撮影フレーム速度を落とす方法は、親指の移動量がフレーム間で増えることで、オプティカルフローが検出しやすくなると 考えられる。また、フレーム数が減り、単位時間あたりの計算量も減ることになるため、処理時間が減る。
領域Sを小さくしつつ撮影フレーム速度を落とすことで、より微小な動作を検出可能であると考えられる。
本システムでは、被験者5名のうち2名の動作セットに誤検出がみられた。 これは手の震えによって、意図しない内転および外転動作が発生してしまったことが原因である。 今回の動作判別手法では、得られた一つ一つのオプティカルフローの情報と内転および外転の動作判定範囲を比較し、 範囲内のベクトルの本数をカウントすることで動作判定を行うというシンプルな判定方法であり、使用者の意図を柔軟に汲み取ることができない。 しかし、手の震えが意図的な動作に対して明らかに大きい(小さい)場合には、動作判定範囲に対して新たなパラメータを与えることで、 手の震えと意図的な動作の違いを判別できると考えられる。
[1] 難病情報センター:https://www.nanbyou.or.jp/entry/5354
[2] 小森 哲夫：神経難病のQOL, 臨床神経学 Vol.51, No.11(2011)
[3] 株式会社日立ケーイーシステムズHP:https://www.hke.jp/products/dennosin/denindex.htm
[4] ダブル技研(株)HP:https://www.j-d.co.jp/welfare/cyin.html
[5] 中沢 信明：福祉ロボットとヒューマンインタフェース, エレクトロニクス実装学会誌, Vol.19, No.6, pp. 389-393, (2016)
[6]
