傳統的認知科學認為身心是兩個獨立的系統，然而，體驗認知（Embodied Cognition）理論的出現，否定了這種割裂身體和認知的二元認知觀。越來越多的實證研究證據表明：感覺與動覺的體驗包含於認知的過程中，我們的身體不僅是認知的感受器和傳導器，也是認知形成過程中的一部分。現實生活中的語言交流很少依靠單一的聽說模態，而是整合了視覺、動覺、觸覺等多重模態，故而語言學習在本質上也應是多模態的。因此多模態教學鼓勵將不同的感官模態整合起來，而不是像傳統的外語教學那樣過度地依賴聽說。

多模態教學充分結合身體和認知。“體驗認知”或“體驗學習範式”在二語語音訓練中基於這樣的理論框架：語言的韻律（節奏、重音、句調等）在語音和語用層面都與手勢等身體動作緊密聯系在一起，故而善用身體和話語的結合可有效地促進語音的學習。多模態語音教學擁有廣泛的認知資源可供調動，例如圖式化的語音頻譜及音高曲線（視覺）、手勢（動覺）、觸摸（觸覺）等。其中，手勢由於整合了視覺和動覺信息且不需要設計專門的教具而在實踐中有著廣泛的應用。在研究實踐中，視覺化的語音信息需要計算機輔助教學，對教學設備有要求卻對動覺系統的參與度要求不高，因而不少學者將其作為單獨的研究分支，而體驗認知框架下的多模態教學一般使用手勢、觸摸等由動覺系統參與的教學策略。

由於身體和認知的關係是密不可分的，而話語是認知最重要的表達工具，在身體動覺系統支配下產生的手勢則出現在了話語、認知和運動感官的交界點上。於是，人的手勢和語言在同一認知體系下，共享同一套交流系統。因此，手勢在個體的認知發展和語言學習中發揮著不可忽視的作用。對此，有不少學者提出了一系列模型和假說來解釋手勢在語言處理、認知和學習中的作用。

在話語產出方面，R. Krauss等人於2000年建立了“lexical gesture process model”，認為使用手勢可幫助詞匯提取，從而有利於話語產出。2003年，S. Kita和A. Ozyürek提出了“Interface Hypothesis”，該假說認為手勢可以幫助說話人組織話語中蘊含的空間信息，進而優化話語產出。2017年，Kita等人將該假說推廣為“Gesture-for-Conceptualization Hypothesis”， 認為所有的象征性（iconic）手勢都有意義，都有利於語言和思維活動，因為象征性手勢可以將信息進行圖式化（schematize），方便人們形成概念（conceptualization）。

在話語感知方面，J. P. de Ruiter於2017年提出了“Asymmetric Redundancy Hypothesis”。該假說認為手勢為語言交流提供了額外的視覺信息，這些視覺信息可輔助交談雙方感知和理解對話，故而手勢不僅輔助交際，還可提升交際質量。

在認知和學習方面，多數研究認為手勢可減少認知負擔，有意義的手勢可顯著降低對工作記憶的占用、減輕認知壓力進而鞏固知識記憶。當然，也有研究表明過度使用手勢會傳遞冗余信息從而加重學生的認知負擔，帶來負面的學習效應。這提示我們在多模態教學中，對學生的感官刺激應秉持適度、實用的原則。基於上述認識，多模態教學充分地將身體和認知結合起來，最大限度地發揮了體驗認知在教學過程中的作用。

多模態教學對外語語音學習有積極作用。具體到外語語音學習上來，按照學習對象的性質可分為音段層面的教學和韻律層面的教學。在多模態教學的框架下常用以下手段將身體動覺感官與認知相聯系，並已有大量實證研究證據表明其有效性。第一，以敲打的手勢（beat gesture）與語流中被凸顯的部分同現，來改善外語學習者的口音並輔助單詞記憶。第二，使用手勢來描摹音高特征（比如用手向右上方劃表示升調）來幫助聲調和句調的學習。第三，使用水平移動的手勢來描摹音長特征，此舉可用來教授長元音的發音。第四，使用拍手的方式來擬合語言的韻律特點，使學生的話語產出更加符合目的語的韻律節奏，從而提高整體發音質量。除了韻律，已有研究表明，打拍子對於掌握音拍等時性（Mora-timed）語言（如日語）和音節等時性（Syllable-timed）語言（如法語）的長音有幫助作用。近來也有研究引導學生用腳踩節拍或手指擊打桌面的方式來擬合目的語的節奏特征，並取得了積極的訓練效果。(2021年01月12日來源：中國社會科學網-中國社會科學報)