マスクをしながらの会話やリモート会議にひそむ思いがけない錯覚～「マガーク効果」を脳科学で探る

そのような疑問に脳神経外科専門医であるへなおがお答えします。

このブログでは脳神経外科医として20年以上多くの脳の病気と向き合い勤務医として働いてきた視点から、日常の様々なことを脳科学で解き明かし解説していきます。

基本的な知識についてはネット検索すれば数多く見つかると思いますので、ここでは自分の実際の経験をもとになるべく簡単な言葉で説明していきます。

マスクをしながらの会話やリモート会議にひそむ思いがけない錯覚

へなお

対面で会話をする時はマスクを装着、大人数での会議はオンラインでのリモート会議が当たり前になりました。

しかしマスクをしながらの会話やリモート会議では言葉が聞き取りづらいこともあり今までのようにスムースに会話が進まず苦労されている方も多いと思います。

これは誰でも思いつくマスクやリモート会議にまつわる問題です。

しかしそれ以外にも言葉が聞き取りづらい原因はあります。

マスクをしていると当然相手のお口元は見えません。

リモート会議でもどんなに画像が良くても発言している人の口元をしっかり見ることは難しいでしょう。

このように口元が見えない状態で会話することが思いがけない錯覚を引き起こしているのです。

他人と対話する場面では音声以外にも口元を見る視覚情報が聴覚情報を補助する読唇行動が生じています。

へなお

今回はマスクをしながらの会話やリモート会議にひそむ思いがけない錯覚である「マガーク効果」を脳科学で探っていきます。

音声の情報処理は聴覚のみにあらず

他人と顔と顔を合わせて会話をする時、当然聞き手は話し手の姿を見ることができます。

それにも関わらず音声知覚は聴覚的な情報処理にのみ依存していると考えられていました。

つまり他人が話している声は耳から聞こえる情報のみを頼りに脳で理解していて目から入った情報は一切影響を及ぼさないという考えです。

普通に考えれば当たり前のように思えますが実はそうではないのです。

へなお

それを証明したのが「マガーク効果」です。

「音声のみ」を聞いてもらった場合にはどの年齢層でもほとんどの人が正しい音声を聞き取っていました。

一方で音声とは口の動きが一致しない映像がついた状態ですと誤答率が高くなったのです。

幼児では59％、児童では52％、成人ではなんと92％の人が聞き間違いを起こしていました。

しかも多くの参加者が「実際に流された音声」とは異なる音声が聞こえたと訴えました。

「ガ（ga）、ガ、ガ…」という口の動きをしている人の映像が「バ（ba）、バ、バ…」という音声で吹き替えられたにも関わらず多くの人は「ガ」とも「ガ」とも異なる第3の音韻である「ダ（da）」が聞こえたと言うのです。

通常の自然な会話であれば「マガーク効果」は発生しません。

なぜなら音声と口の動きが一致しないなんてことは起き得ないからです。

逆に騒音下などでは口の動きが見えるほうが聞き取りやすくなります。

“カクテルパーティー効果の脳科学”についてはこちらの記事もご参照ください。

では「マガーク効果」が起きやすい状況とはどのような場面なのでしょう？

へなお

たとえば映画の吹き替えです。

吹き替えでは声とは矛盾する口の動きを見ているので「マガーク効果」が起きやすくなります。

つまり矛盾する口の動きに引きずられて音声トラックの音とは違う音に聞こえるという錯聴現象が生じるのです。

「マガーク効果」を生み出す脳のメカニズム

脳は耳から入った音声を聴覚情報として読み取り理解しています。

しかし脳は音声だけを認識しているわけではありません。

話をしている人の口の動きなどの聴覚以外の情報も無意識的に利用しさまざまな情報を統合した結果「聞こえてきた音声」として認識しているのです。

このような現象を「多感覚統合」と言います。

へなお

口元を見ているだけで耳から入った音が違う音に聞こえてしまう錯覚におちいるわけですからなんとも不思議な現象です。

「マガーク効果」は言語の違いによってその効果が異なってくることもわかっています。

日本語母語者は英語母語者に比べて「マガーク効果」が生じにくいと言われています。

最近まではその理由はよくわかっていませんでした。

そのため日本人の場合には視覚情報の影響である「マガーク効果」が英語圏で報告されているほどは強くないとされています。

その他では「マガーク効果」の生じやすさには性差があり女性の方が男性よりも生じやすいとされています。

その理由は女性の方が平均的に男性より読唇が優れるためです。

また加齢による変化として高齢者は若年者よりも「マガーク効果」が生じやすいとされています。

その背景には加齢による聴力低下が考えられています。

このように状況によって「マガーク効果」が生じたり生じなかったりするので一元的に「マガーク効果」のメカニズムを説明することは困難です。

マスクをしながらの会話やリモート会議にひそむ「マガーク効果」

ここまで「マガーク効果」について説明してきましたがご理解いただけたでしょうか？

ではマスクをしながらの会話やリモート会議に「マガーク効果」はどのような影響を与えているのでしょうか？

マスクによる「マガーク効果」

マスクをしながらの会話では当然口元は見えません。

ですから視覚情報が聴覚情報を干渉する「マガーク効果」は起きにくいように思えます。

しかしマスクをつけた状態での会話は自分が思っている以上に相手にとっては「聞こえにくい」と感じているのが実際です。

マスクによって音量が落ちるだけでなく発音の明瞭性も当然落ちています。

つまりたとえ大声で話をしても音が濁っていて聞き取りづらいのです。

日本語話者が口の動きに頼らずに相手の話を聞き取っているとはいえやはり口の動きによる視覚情報は重要です。

しかもマスク越しの聞き取りにくい声の場合はなおさら視覚情報が求められます。

しかし口元はマスクで覆（おお）われていて見えません。

すると脳はマスク越しにごそごそ動いている口元を見て「マガーク効果」を起こすのです。

音声と一致しない矛盾したマスクの動きの視覚情報が音声の聴覚情報を干渉して聞こえを変容させてしまうのです。

リモート会議における「マガーク効果」

「マガーク効果」は話者の口の口の動きと音声とが一致しないという日常では起こり得ない事態で発生する現象です。

しかし現代ではその起こり得ないことが起こっているのです。

へなお

それが最近では日常的となったオンラインによるリモート会議です。

webカメラの映像遅延による音声とのズレはどうしても起きてしまいます。

特にリモート会議では相手の顔がアップで映し出されるため会話中は無意識的に相手の口元を見る時間が長くなります。

すると口の動きの映像がヘッドホン越しに耳から入ってくる聴覚情報と異なっているという矛盾が脳に「マガーク効果」を働かせ違和感が生じてしまうのです。

「マガーク効果」のワナにかからないため

このようにマスクをしながらの会話やリモート会議では無意識的に「マガーク効果」という脳の錯覚が生じています。

へなお

これは今までになかった生活習慣における意外な落とし穴と言えるでしょう。

ですから知らぬ間に会話の内容で誤解が生じたりすれ違ったりといった問題が生じる危険性があることを充分に理解しておく必要があります。

そもそもわたしたちは普段モノを認識する時に「見て」「聞いて」「触って」…などと独立した五感をフルに稼働させて正確に把握していると思いがちです。

しかしわたしたちが体験していることは実はすべての感覚を駆使して入手した情報を自分なりに勝手に解釈した結果に過ぎないのです。

「マガーク効果」はそんな脳の勝手な解釈が誤作動を起こしただけなのです。

そのことを理解しているかしていないかは今後に大きな影響をおよぼす可能性があろうことを知っていても損はないでしょう。

“マガーク効果の脳科学”のまとめ

マスクをしながらの会話やリモート会議にひそむ思いがけない錯覚である「マガーク効果」についてわかりやすく脳科学で説き明かしてみました。

最後まで読んでくださりありがとうございました。

今後も長年勤めてきた脳神経外科医の視点からあなたのまわりのありふれた日常を脳科学で探り皆さんに情報を提供していきます。

最後にポチっとよろしくお願いします。