![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
[[太田研 公開用Wiki]] * 混同色線上の位置を画素のブリンク情報にマッチした色覚異常者用画像処理 [#d717a374] #contents * 研究背景 [#k41e4bb4] 人間は網膜内の3種類の錐体細胞によって色を感知しているが,その錐体細胞のうちいずれか,もしくは複数が正常に機能しなくなると, 通常とは色が異なって見えてしまう.これを色覚異常という. そのような色覚異常者にとっては,正常な色覚ならば識別のできる2つの色が混同してしまうことがある.そのような色の見え方の差が, 日常生活の中にも支障をきたす場面があり,色覚異常者を困惑させている. このような不便を解消するために,色覚異常者の色覚を画像処理によって補助する様々な研究が今日までに行われてきた. * 研究目的 [#aeb98198] 本研究では色覚異常者の色の見え方を補助するために,識別困難な色を輝度の変化によるブリンク(点滅)によって識別可能にすることが 目的である.また,混同色線上の位置に応じて,点滅の強度や周期に変化を付けることで,色が連続的に変化していく様子を表現することが できるのではないかと考え,実験を行った. ** 具体例 [#e97e3ff9] 今回の実験では色覚異常者が日常生活の中で困る事の代表例として,焼肉の焼け具合とトマトの熟れ具合について実験を行った. また,今回は1型2色覚の色覚異常を対象としている. 図1は色覚正常と色覚異常(1型2色覚)の色の見え方の違いを比較した画像である.このようにトマトの場合は赤く熟れたトマトと, 緑の未熟なトマトが混同色になってしまい,色覚異常者にとって識別することが難しい. また,焼肉の場合も生肉の色と焼けた肉の色が混同色になってしまい,焼けたか否かの判別が困難である. #ref(tomatoyakiniku.jpg,center,100%) CENTER:図1：色覚正常と色覚異常(1型2色覚)の色の見え方の違い * 提案手法 [#z880dbf3] ** xy色度図 [#s15bdd5a] 今回の手法では主にxy色度図を用いた.xy色度図とはXYZ表色系のX・Y・Zの値を用いて,以下の式で計算される値 (x,y)を使って,xy座標空間ですべての色を表したものである. CENTER:x = X / (X + Y + Z) CENTER:y = Y / (X + Y + Z) 図2にxy色度図を示す. #ref(xy.png,center,20%) CENTER:図2：xy色度図 このxy色度図は明るさを除いた色の性質である,色度を表している.また,色覚正常者はこのxy色度図上の全ての色を認識することができるが,色覚異常者(1型2色覚)はxy色度図上で,以下の式で示される直線P上に分布する色しか認識することが できない. CENTER:y = 1.415919x - 0.082680 xy色度図上での直線Pを図3に示す. #ref(xyP.jpg,center,80%) CENTER:図3：xy色度図上での直線P また図4において,混同色中心C(0.746495,0.253505)から放射上に無数に引かれる直線を,混同色線(confusion lines)という. 1型2色覚の色覚異常者にとって,この混同色線上の色は全て,直線Pと混同色線との交点に位置する色に見えてしまう. #ref(xyPCon.jpg,center,80%) CENTER:図4：混同色中心と混同色線 ** トマトと焼肉の色変化 [#s332ac11] トマトの場合は赤いトマトの色と緑のトマトの色,焼肉の場合は生の部分の色と焼けた部分の 色を調べ,平均的に妥当だと思われる色をxy色度図にプロットした.その結果xy色度図上でのトマトと焼肉の色の変化は 図5のようになると考えられる. #ref(tomatoyakinikuxy.jpg,center,80%) CENTER:図5：xy色度図上でのトマトと焼肉の色変化 焼肉の色の変化は生肉の赤色(A1 = (0.466,0.329))から焼けた肉の茶色(B1 = (0.377,0.368))への変化,トマトの色の変化は未熟なトマトの緑色(B2 = (0.375,0.510)) から完熟トマトの赤色(A2 = 0.573,0.359)へ変化になる.また,このxy色度図上 でのトマトと焼肉の色変化は,多少の誤差はあるものの,混同色線上での色変化と みなすことができるので,色覚異常者には,赤いトマトと緑のトマト,生肉と焼けた 肉が混同色に見えてしまったのである. ** 混同色線上の位置情報 [#o136c187] 点滅の強度や周期の度合いを決定する際に必要になる,混同色線上の位置情報は次のように定めている.まず,位置情報uの 値は0～1の範囲とする.焼肉の場合は生の色で0,焼けた色で1.トマトの場合は赤色で0,緑色で1. uが1以上の場合は1として扱い,0以下の場合は0として扱う.また,入力画像の画素の色が必ずしも基準と定めた混同色線上に 乗るわけではないので,位置情報uは次のように求めている(トマトの場合の例). 図6に示すように,入力画像の画素の色をIとし,原点A2からIまでのベクトルpと原点A2からB2までのベクトルqを求める. この2つのベクトルから,A2を原点とし,B2で1となるような位置情報uは以下の式で求めることができる(焼肉の場合も同様). CENTER:p = I - A2 CENTER:q = B2 - A2 CENTER:u = (p,q) / (|q| * |q|) CENTER:※(p,q)はpとqの内積を表している. #ref(u.jpg,center,80%) CENTER:図6：混同色線上の位置情報 ** 点滅方法 [#h0cc1206] トマトや焼肉の点滅方法としては,焼肉の場合は生のときに食べてはいけないという危険信号の意味合いをこめて, 点滅の度合いを大きくし,焼けていくにしたがって,点滅の度合いを小さくしていく. トマトの場合は未熟な緑のときは点滅させずに,収穫時に目立つことが好ましいと考えられるので,赤く熟していくのにしたがって,点滅の度合いを大きくしていく. 以上のような点滅の表現のために,位置情報uに応じた点滅の強度s(0≦s≦1)を定義し, 画素値(R,G,B)のバランスを保ったまま,強度sに応じたsin関数によって輝度のみを変調している. これによって,位置情報に応じて,点滅の強さに変化を付けることが可能になる. また,点滅周期の変化も同様に,強度sに応じて,点滅周期の角周波数を決定する関数を設け,位置情報に応じて,点滅周期に変化を付けている. * 実験と結果 [#u7359bd8] ** 実験方法 [#bc743290] 実験では2種類の点滅手法を試した.1つ目の手法(1)は点滅の強度のみを位置情報uに応じて変化させる方法. この方法ではトマトの場合は赤く熟れるにしたがって,点滅の強度が大きくなり,焼肉の場合は生肉が焼けて行くにしたがって,点滅の強度が小さくなっていく. 2つ目の手法(2)は点滅の強度と周期の両方を位置情報uに応じて変化させる方法. この方法では,手法(1)の点滅強度の変化に加え,トマトの場合は赤く熟れるにしたがって,点滅が速くなり,焼肉の場合は生肉が焼けて行くにしたがって,点滅が遅くなっていく. 点滅手法(1)と(2)の点滅強度と周期のグラフを図7,図8に示す. #ref((1).jpg,center,100%) CENTER:図7：手法(1)での点滅強度(左)と周期(右)のグラフ #ref((2).jpg,center,100%) CENTER:図8：手法(2)での点滅強度(左)と周期(右)のグラフ ここで手法(2)のときに点滅強度と周期を階段状の関数にしているのは,ある程度の面積を持った領域で同じ周期と強度を持たせるためである.この処理を行わないと,画素単位での点滅の位相のズレによって,砂嵐のようなノイズが発生し,画像の内容が非常に確認しにくくなってしまう. ** 実験結果 [#hcd9a423] 図9と図10に焼肉の画像とトマトの画像に手法(1)を適用した結果を示す. どちらも上から,(a)元画像,(b)点滅の輝度が最小時,(c)点滅の輝度が最大時の画像で ある. 点滅処理の効果は色覚異常を模擬することのできるメガネと,画像処理による色覚異常シミュレーションによって評価を行った. #ref(resultbeef.jpg,center,100%) CENTER:図9：焼肉(牛肉)の画像に対する処理結果 #ref(resulttomato.jpg,center,100%) CENTER:図10：トマトの画像に対する処理結果 手法(1)を適用した結果,焼肉の場合は生の肉が点滅し,焼けた肉は点滅しないことが確認できた,よって混同色である生肉の色と焼けた肉の色の識別が可能だといえる.しかし,点滅強度の違いによる色の変化の様子はある程度は表現できたが,顕著ではなかった.また,トマトの場合は赤いトマトが最大強度で点滅し,緑のトマトは点滅していない,これによって混同してしまう赤トマトの色と緑トマトの色を識別することが可能だといえる.そして,赤く熟す途中の黄色っぽいトマトが少し弱い強度で点滅しているので,点滅の強度の違いによって,色の変化していく様子を表すことができていると考えられる. また手法(2)を適用した結果は,動画像でないと点滅周期の変化を確認することができないので,印刷物である本論文では結果の掲載は割愛するが,結果だけ述べると,焼肉の場合は生の肉が点滅し,焼けた肉は点滅しないことが確認できたので,手法(1)と同様に混同色の区別は可能だが,点滅の周期の変化による色変化の様子はある程度表現することはできたが顕著ではなかった.トマトの場合は,点滅強度・周期による混同色の識別はもちろんのこと,赤いトマトの点滅周期よりも , 熟す途中の黄色のトマトの点滅周期が遅くなっていることが確認できたので,点滅周期の違いによって,トマトが熟していく色の変化を表現することは可能だと考えられる. ** まとめ [#ab2946e7] 実験結果をまとめると,今回の実験ではトマトと焼肉について,色覚異常者が混同してしまう色を輝度変化による点滅によって識別することが可能となった.また,点滅の強度や周期に変化をつけることによって,トマトの場合はトマトが熟していく色の変化の様子を表現することができたといえる.しかし,焼肉が焼けていく色の変化の様子については,ある程度は表現することはできたが顕著ではなく,分かりにくいという結果だった. また,特に焼肉の画像の場合に例外的にではあるが,点滅させるべき生肉の部分が点滅しなかったり,本来点滅させない焼けた肉の部分が点滅してしまったりという現象が観測された. * 考察と今後の課題 [#z40da456] ** 考察 [#oefbb2a6] 今回の実験結果では,トマトや焼き肉の色の変化の様子を点滅の強度や周期の変化によって表現することを試みたが,トマトの場合は色の変化をある程度点滅によって表現することができたが,焼肉の場合は顕著ではなかった.その原因として考えらえることとして,xy色度図上での焼肉の色変化がトマトの色変化に比べて,小さいことが挙げられる.これによって,点滅の強度や周期の変化の差が認識しにくくなっているからだと考えられる. また,焼き肉の場合には生の部分が点滅せず,逆に焼けた部分が点滅してしまうという例外が発生した.この原因として考えられることとして,図11 のように,xy色度図上に「生なのに点滅しない部分の色(図中の青い正方形)」と「焼けているのに点滅する部分の色(図中の水色の六角形)」をプロットした結果,生の部分にも関わらず,位置情報uを求めると,uが1に近い値になってしまったり,焼けている部分にも関わらず,uが1よりも0寄りの値になってしまったりと,生の色にも焼けた色にも例外が存在したことが挙げられる. #ref(missblink.jpg,center,80%) CENTER:図11：生なのに点滅しない部分と焼けているのに点滅する部分 ** 今後の課題 [#c58e7a4f] 本研究の今後の課題とし考えられるものは以下のとおりである.まず,点滅処理適用範囲の改善である.焼肉の場合の例外のように,点滅させるべき部分がしなかったり,逆に点滅させないべき部分が点滅してしまったりと,まだxy色度図上での点滅処理を適用する範囲の決定法が正確であるとは言い切れないので,その改善を行うことを考えている.特に焼き肉の場合は,もう一度よくxy色度図上での生肉や焼けた肉の分布を分析する必要がある. そして,点滅強度や周期の変化によって,混同色線上の色変化をある程度表現することが可能になったわけだが,その表現をより分かり易くするために,点滅強度や周期の再調整を行う必要があると考えられる. さらに,現在は焼肉の場合は牛肉のみにしか対応できていないので,今後は別の種 類の肉への対応も検討している.また,本手法を用いたスマートフォンアプリケーションの作成なども行って行きたいと考えている.
