8月10日晚20點(diǎn)，中國科學(xué)院心理研究所杜憶研究員作為腦客中國科研第67位講者為大家?guī)碇黝}為《多模態(tài)言語感知與理解的腦環(huán)路機(jī)制》的報告。以下為報告部分內(nèi)容：
1言語感知和理解的特點(diǎn)
我們先介紹一些言語感知和理解的背景知識。
1.言語感知與理解極具挑戰(zhàn)性：在日常生活中，我們都是在一些復(fù)雜的環(huán)境下進(jìn)行言語感知，比如有背景噪音、背景音樂、甚至其他人同時在說話。比較著名的就是雞尾酒會問題，如下圖所示：
如果我們關(guān)心的是說話人B的語音，但是到達(dá)耳朵的其實(shí)是好多人聲整合在一起的語音，如何提取出我們關(guān)心的目標(biāo)語音信號其實(shí)是一件很難的事情?，F(xiàn)在我們遇到過的一些語音識別軟件在這方面能力做的不是很好，但人腦其實(shí)可以很簡單做到這樣一件事，是因?yàn)榇嬖谶x擇性的注意機(jī)制。
2.言語感知的腦區(qū)不是模塊化的：我們知道大腦存在對于人臉加工的特異腦區(qū)，對位置加工的特異腦區(qū)，但并沒有一個腦區(qū)在特意的加工語音。
3.言語感知是多通道并行的：如同視覺通路一樣，言語感知同樣也是分成背側(cè)通路和腹側(cè)通路。
4.言語感知與理解是層級化的：語音有不同的時間尺度，不同的層級，從詞到短語、句子，最后組成一個篇章。所以你可以看到大腦對于這樣的一個不同時間尺度的語音信號的加工，它其實(shí)是存在著層次性的編碼。
5.言語感知與理解是多模態(tài)的：比較著名的一個現(xiàn)象McGurk Effrct，視覺信息會嚴(yán)重地影響到你的聽覺感知。語音信號放的是/ba/，唇動信息給出的是/ga/；如果你睜開眼看到這個視頻，聽語音的話，你的知覺應(yīng)該是聽到的是一個/da/，而閉上眼睛就會只聽到/ba/。
6.言語感知與理解是預(yù)測式的：如言語感知和理解是將具有復(fù)雜動態(tài)結(jié)構(gòu)的聲學(xué)信號投射到詞義表征的過程。聽者可以利用先驗(yàn)知識和約束（包括語法、句法、轉(zhuǎn)移概率、視覺運(yùn)動線索等）來預(yù)測下一時刻的語音輸入，該過程可被貝葉斯推理模擬。
2言語感知與理解和言語生成密切相關(guān)
言語感知與理解和言語生成具有密切的關(guān)系。比如左邊這個甲骨文文字，它的左部分是耳朵的意思，下面部分代表的是口，它表示的是我們現(xiàn)在的“聽”字。這說明在我們聽的過程中，其實(shí)存在聽覺系統(tǒng)跟運(yùn)動系統(tǒng)之間的一個整合。一個人說話時，他也能夠聽到自己的實(shí)時聲音，這樣的一個聽覺反饋是有利于他更好地去控制他的發(fā)音動作。另外對于聽者而言，當(dāng)聽到語音信號時，他不僅會利用到他的聽覺系統(tǒng)，他自己跟發(fā)音相關(guān)的那些言語運(yùn)動系統(tǒng)也會主動地模擬說話人的發(fā)音，來預(yù)測說話人的發(fā)音。
這樣的過程其實(shí)是跟大腦內(nèi)的鏡像神經(jīng)元系統(tǒng)密切相關(guān)的。大家知道鏡像神經(jīng)元系統(tǒng)最早是在猴腦上發(fā)現(xiàn)的，獼猴在執(zhí)行一個動作或者是在觀看他人執(zhí)行一個動作的時候，會有一群神經(jīng)元被激活，位于額葉的地方。這個腦區(qū)對應(yīng)到我們?nèi)四X上，其實(shí)就是跟我們發(fā)音密切相關(guān)的布洛卡區(qū)和腹側(cè)前運(yùn)動皮層。近代有很多的腦成像研究也已經(jīng)發(fā)現(xiàn)，我們的言語生成和言語感知功能區(qū)具有很多重疊的腦區(qū)，包括這些藍(lán)色重疊的腦區(qū)其實(shí)都是鏡像神經(jīng)元所在的地方。
因此提出了一個語音加工的雙流通路模型，合成分析理論認(rèn)為：在嘈雜、不穩(wěn)定的情境下，言語運(yùn)動系統(tǒng)會生成發(fā)音預(yù)期以限定和輔助語音信號的解析。
另外會有人發(fā)現(xiàn)，當(dāng)我們在聽到一些動作詞的時候，我們會特意地去激活跟控制這些動作所屬的身體部位相關(guān)的運(yùn)動區(qū)。比如說你聽到一些跟腿相關(guān)的運(yùn)動區(qū)詞匯時，你會激活控制腿部相關(guān)的運(yùn)動區(qū)；如果你聽到是跟面部發(fā)音相關(guān)的詞匯時，你會激活更加腹側(cè)的運(yùn)動區(qū)域。
3三個相關(guān)研究
基于以上背景，和大家介紹一下我們實(shí)驗(yàn)室所做的三個研究。
第一個研究是關(guān)心視覺唇動促進(jìn)噪音下言語感知的神經(jīng)機(jī)制，用到的技術(shù)手段包括磁共振的結(jié)構(gòu)和功能成像。它的語音尺度是在音位，一個聲母的層級，很短的一個時間單元。
研究二是關(guān)心言語和手勢語義整合的動態(tài)腦環(huán)路機(jī)制。我們用到的技術(shù)手段是經(jīng)顱磁刺激TMS，它的語音尺度是在字詞。
第三個研究關(guān)心的是運(yùn)動皮層和聽皮層對言語感知的協(xié)同貢獻(xiàn)。用到的技術(shù)手段是一個經(jīng)交流電刺激TACS，它的語音層級是在一個語句的層級上進(jìn)行的。
可以看到三個研究分別用了不同的技術(shù)，關(guān)心的語音尺度也是不一樣的，一個比一個更長。
觀看本期及往期精彩視頻內(nèi)容請掃描下方二維碼觀看。
掃描二維碼
觀看完整視頻
END
