日時：2006年3月22日（水）　13:00-14:15
場所：柏総合研究棟
発表者：田中 章浩
所属：東京大学大学院人文社会系研究科　心理学研究室　助手（発表時）
タイトル：視聴覚音声認知の実験心理学的検討とその応用可能性
キーワード：視聴覚音声認知、マルチモーダル知覚、時間的非同期、実験心理学、加齢

書誌：田中 章浩，視聴覚音声認知の実験心理学的検討とその応用可能性．ヒトセミナー要旨集, no.17, pp.1, 2006.
（本発表ならびに本要旨について引用する際は、こちらをご利用ください。）

要旨：
ヒトが音声言語を認知する際，話者の口の動きの映像を見ながら音声を聴取すると，映像がない場合よりも音声の了解度が向上する．先行研究からは，音声遅延が200ms程度までであれば同期時と同等に映像の効果が得られ，400ms程度までであれば映像の効果が残存することが報告されている．また，ヒトはこのような非同期に対する時間窓をもつばかりでなく，視覚と聴覚のタイミング差が常に一定である場合，これを検出して補正するメカニズムをもつことも示唆されている．ただしこのような補正はタイミング差のみに適用され，速度差のある場合には適用されない可能性がある．そこで本研究では，映像と音声のタイミングおよび速度の違いが映像の効果に及ぼす影響について検討した．大学生を対象とした心理実験の結果，単語視聴時に視聴覚間に比較的大きなタイミング差が存在しても，語頭から語末へと進む間に視聴覚タイミングの補正が生じ，語末では映像の効果が低下しない可能性が示唆された．また，映像と音声の速度が異なり，視聴覚間の時間差が一定でない（音声を伸長したため，次第に映像と音声の時間差が拡大）状況下では，このような補正が生じないことも示唆された．このような検討を進めることで，音声の時間伸長の効果と映像の効果を両方活用できるような音声聴取補助システムを構築することを目指している．

参考文献：
[1] Sekuler R, Sekuler AB, & Lau R (1997) Nature, 385, 308.
[2] Shams L, Kamitani Y, & Shimojo S (2000) Nature, 408, 788.
[3] Sumby WH & Pollack I (1954) J Acoust Soc Am, 26, 212-215.
[4] McGurk H and MacDonald J (1976) Nature, 264, 746-748.
[5] McGrath M & Summerfield AQ (1985) J Acoust Soc Am, 77, 678-685.
[6] Pandey PC, Kunov H, Abel SM (1986) J Aud Res, 26, 27-41.
[7] Grant KW Braida LD & Renn RJ (1994) J Acoust Soc Am, 95, 1065-1073.
[8] Grant KW & Greenberg S (2001) Proc AVSP, 132-137.
[9] Fujisaki W, Shimojo S, Kashino M, & Nishida S (2004) NatNeurosci, 7, 773-778.
[10] Kawahara H, Masuda-Katsuse I, & de Cheveigne A (1999) Speech Commun, 27, 187-207.
[11] Tanaka A, Sakamoto S, & Suzuki Y (2005) J Acoust Soc Am, 117, 2604.