視線入力装置は本人の意図的な目の動きも意図しない偶然の眼の動きも捉えます。
偶然にもかかわらず画面上の操作が視線で意図的に行われたように見えることがあるかもしれません。
目の動きが意図的かどうかの区別はどうすればわかるのか?
その前にそもそも「見てわかる」ためにはどのような認知発達の下地が必要か?
知りたい、確かめたいと思うようになり情報収集をしました。
乳児の見る能力の発達は、
1,提示された視覚刺激に注意を向ける(定位反射)
2,視覚刺激によって定位反応の頻度や強さが異なっていく(選好注視)
これを詳細に調べることで知覚・認知・興味を推測できる
3,より意図的に視線を向け(意図的注視)、視覚情報を記憶し、他の情報を統合させて理解を深める
といった段階を踏むこと。
さらに、
5,聞き手効果段階から意図的伝達段階への発達
6,見てほしいものを指さす・見せるなどして他者と注意を共有する(共同注意の成立)
7,他者が対象に注意を向けていることを認知し(三項関係の成立)相互的なやりとりがはじまる
といった認知やコミュニケーション面の発達が伴っていくことを理解しました。
加えて、視線入力で活動を展開するためには、
8,画面上で視線が起こす応答の因果関係を理解する力
が求められます。
頭の中を整理し上記の様々な下地が必要であることが理解できたところで、息子はどうだろう?確認できる方法があるだろうか?
と考え始めました。
参考
青木 高光:障害の重い子のコミュニケーション支援(重度の肢体不自由と重度の知的障害者を併せ有する子供達)2021.10.2東海カンファレンス
重度・重複障害児の学習とは?-障害が重い子どもが主体的・対話的で深い学びを行うための基礎ー 樋口 和彦(ジーアス教育新社、2021年)
「TT-Webinar(Think and Try it in your field. /ティーティーウェビナー)~教師・支援者・保護者のための見立て実践トレーニング~ 3回連続課題付きシリーズ」atacLabオンライン実践セミナー @ATAC Webinar-Talk, 2020.10
障害の重い子どもの発達理解ガイド 教科指導のための「段階意義の系統図」の活用 徳永 豊、田中 信利(慶応大学出版会、2019年)
子どもの感覚運動機能の発達と支援 発達の科学と理論を支援に活かす 大城 昌平、儀間 裕貴(メジカルビュー社、2018年)
はげみ no.374 特集 視線入力でらくらくコミュニケーション(社会福祉法人
日本肢体不自由児協会、2017年)
黙って観るコミュニケーション 重度・重複障害の子ども達とのコミュニケーションのポイント 武長 龍樹、巖淵 守、中邑 賢龍(atacLab、2016年)
発達支援と教材教具Ⅲ -子どもに学ぶ、学習上の困難への合理的配慮ー 立松 英子(ジーアス教育新社、2015年)
AAC入門 コミュニケーションに困難を抱える人とのコミュニケーションの技法 中邑 賢龍(atacLab、2014年)
重症心身障害児の認知発達とその援助 片桐 和雄、小池 敏英、北島 善夫(北大路書房、1999年)
息子の場合は?
まず、どのくらい意図的に目を動かし使っているかを確認できないかと考えました。
Tobii Pro では、停留(注視)とは「眼球が50ms~600msの間で留まり続けること」と説明されています。
短ければ定位反射で、長ければ意図的注視のように理解してよいのでしょうか?・・・違うような気がします。
息子の場合、注視が意図的かどうかは、対象の提示のしかたを工夫しなければ、注視時間の長さや視線の履歴だけでは確認しきれないように思えました。
そこで、考え方を切り替えて、画面上で視線が起こす応答の因果関係を理解しているかを確認しようと思いました。
たとえば、ゲーム中に普段とは違うことが起こったとしたら、息子はどうするかなと考えました。
息子の反応から何か推測できるかもしれないと思いました。
島根大学総合理工学研究科の伊藤助教の研究室が開発したEyeMoTボックスアプリで、画面中央の黄色い四角を見ると効果音とともに星が散るという単純なゲームを作りました。息子は1カ月ほどこのゲームで遊んでいました。
中央の黄色い四角を見ると星が散る
YouTube https://youtu.be/xFXswTFeasY
このゲームを、星が散らない、何も起こらないゲームに変えてしまったのです。
何も起こらなくなってしまったことを知らない息子はどうするでしょうか?
黄色い四角を見ても何も起こらない
YouTube https://youtu.be/9U3xKC2PxOM
息子は黄色い四角を何度も見ていましたが、やがて、普段と違う、おかしい、と気づき、私に訴えてきました。
そして、黄色い四角を見ることをやめてしまいました。
この取り組みから、
1,息子は、画面の黄色い四角を見ると星が散ること(応答の因果関係)が理解できている。
2,いつものインタラクション(星が散る)が起こらないことを私に訴えてきた(共同注意を求めてきた)ことから三項関係を成立させている。
と考えました。※
それにより、息子は意図的注視ができていると推測されると考えました。
※息子が共同注意を求め合目的に活用する場面は、再生の終わったCDをもう一度聞かせてもらう、背中に熱がこもってきたので送風シートの電源をいれてもらう、など日常的な行動にも見られます。
この取り組みでは、ゲーム画面の視線の動きを EyeMoTレコーダーで記録していました。
次の動画ではインタラクション(星が散る)の有無による視線の動きの違いを比較できるように2つの記録を上下に並べています。
「星が散る」インタラクションの有無による視線の動きの違い
上段:星が散るインタラクションのあるゲームにいつものように取り組む
下段:インタラクションが発生しないようにゲームを変えたことを知らされずに取り組む
YouTube https://youtu.be/0lhse6ghPj8
行動を引き出す難しさ
上記では、ボタン操作により発生するインタラクションを出ないように細工し、息子にやってもらい、インタラックションがでないことを私に伝えようとする息子の行動を引き出すことができました。
このように行動を引き出すことができればよいのですが、引き出すことができなかった場合に「理解していない」と結論づけてよいものかは微妙だと思います。やり方が問題を含んでいることがあるかもしれません。
例えば、ボタン操作により発生するインタラクションを、普段と異なるインタラクションに差し替えることにするとします。
その場合、息子がその違いに気づいたとしても、私に伝える必然性がないと感じれば、行動を起こさない可能性があります。
息子が何も伝えてこない様子を見て、私は「インタラクションが変わったことを理解できないのだ」 と解釈してしまうかもしれません。
行動を起こす必然性を持たせる設定が重要に思われます。
しかし、その時確実にわかりやすく表出してくる結果を得るように仕掛けるのはなかなか難しいことです。
息子は日常的に訴えや行動が見られていたので、視線入力でも上記のような仕掛けができるのではないかと考えましたが、もし、インタラクションがでないことに対して息子があきらめたり、どうでもいいと思えば、訴えてこなかった可能性がありました。
参考:
西洞院 遥美: 3 歳児の表情認識における比較視線行動の分析, 教育システム情報学会 2013年度学生研究発表会 関西地区, 2013年
Eye tracking essentials Tobii Proアイトラッカーの仕組み : Tobiipro.com