21世紀起的後現代實驗文學，充分利用各類圖文符號，激活人的感知體驗、情感和認知加工；這類文學的日漸興盛也充分說明了多模態符號體認性對文學的影響。 因此，我們有必要拓寬體認語言學的外延，從廣義的符號層面，考察體認的過程；如針對後現代實驗文學的多模態組合特征，闡釋該類文學得以產生、接受、形成獨特文學樣類背後的體認機制；通過透視讀者的閱讀體驗和認知加工過程，揭示多模態文學交流背後的規律性特征。 這一「多模態體認詩學」的研究路徑是對語言及其他符號體認性的有力補充，有助於更加全面立體考察語言及多模態符號交際全過程中的體認性，揭示符號的人本性、唯物性和互動性本質。

其次，豐富體認語言學的理論蘊含。 體認語言學傾向於在人類群體意義上闡發體認的意義，多模態體認詩學則可以關注真實、個體讀者的體認經驗，即關注真實的沉浸於文學作品中的真實讀者，考察他們沉浸於文學自然閱讀過程中的真實體認過程。…

其次，讀者個體也可以看作一個高度複雜的動態系統，對多模態符號的閱讀理解過程本身也受個體、社會、認知、文化和環境等多因素的影響。 如在識讀魯賓（Robin） 的花瓶圖像（圖4：）時，某人可能第一眼傾向於解讀為「看到了一個置於白色背景的黑色花瓶」，而另一個人則解讀為「黑色背景下的兩張白色面孔」；「圖像閱讀並沒有線性結構的強制要求，即讀者具有主體性選擇，當然即使有個體差異，在特定社會文化群體中，也一定有規律性體驗閱讀路徑」（Gibbons，2021：14：）。 因此，他們又都可以在這兩種解讀之間任意切換，體現了讀者體驗的個體性差異。

圖4：　魯賓的花瓶圖像（吉本斯，2021：35，源自 Rubin，…

戴維森步伐緩慢，但是十分堅定，雙手交互爬行上了梯子……他仍然繼續攀爬，最終他的堅持不懈有了回報，爬行了大概半個小時後，他終於爬完了梯子的最後一根。 幾秒鐘過後，他站在一個非常……（DanieleWski， 2000： 4：00；吉本斯，2021：58）

顯然，這段文字被排列為一個梯子的形狀，從底部一行開始，每個橫檔錯落排開，在空白周邊的映襯下，深黑色字體形成的橫檔越發突顯，如同一架梯子斜依在牆上。 文字的排列順序和空間擺放方式，決定了讀者的閱讀方向和順序：自下而上，從左到右，這一順序與人物的攀爬動作一致———從低到高。 可以說，讀者在視覺符號的引導下，眼睛緊隨人物攀爬的動作，拾級而上，與人物「亦步亦趨」，一起「攀爬」。 梯子橫檔一級級向上，迫使眼睛不時穿過空白處，形成視覺跳躍（Gibbons，2021：60）。 眼睛發揮「動能閉合」（Kinetic…

在文字和視覺模態的協同作用下，讀者「多模態器官」體驗且認識到身體與書籍之間不僅是概念上的跨域映射關係，也是自己身體和心理互動體驗下的「合二為一」。 這一實例完美地揭示了多模態文學對多模態體認的「前景化」調用，突出了體認的多模態性。

1. 2 體認的交互性

體認語言學在闡述其核心原則「現實—認知—語言」時，格外強調體認的「互動性」：一是人通過對外部現實世界（包括自然、社會、文化等）直接感性接觸所產生的互動體驗，二是人在外界感性接觸基礎上進行的認知加工。 從「體的互動體驗」到「認的認知加工」，再返回到體驗，循環升華 （王寅，2020: 22）。 從語言的產生、語言的發展到語言的習得都是以人的體認為基礎的（林正軍 等，2021），「現實」「認知」和「語言」之間的互動推動了語言的產生和使用。…

 當然，多模態體認過程研究的前提是認知詩學的基本主張———文學是「人類經驗的一種具體形式」（Gavinsetal，2003：1），「文學研究可向我們揭示認知實踐，借此我們不但可以閱讀文學作品，還可以感知和理解世界」 （Gibbons，2021：26）。 多模態認知詩學認為「人們不僅通過語言，而且也通過視覺、聽覺和心理等其他方式接觸世界」 （Gibbons， 2021：38），因此，多模態認知詩學把研究焦點確定為讀者對多模態進行理解和體驗的複雜動態過程，並運用科學的方法對該過程進行動態描述。

多模態文學傾向於突出符號的物質性和意義理解的多模態性，往往通過調動讀者的身體參與，誘發和強化心理體驗。…

另一方面來看，體認語言學（王寅，2014：）無論是在理論建構，還是個案分析及應用方面，都得到了蓬勃發展。 體認語言學對語言的各個層面都展示出了強大的闡釋力，如轉喻（魏在江，2019）、指類句（雷卿，2019）、兼語構式 （劉雲飛，2019）、名謂句 （帖伊 等，2019）、虛擬位移 （張克定，2020）、歇後語（王寅，2020） 等。 筆者認為，體認語言學不但精確概括了語言的本質，其基本觀點和核心原則對其他社會符號也有強大的闡釋力。 例如，在特定社會文化語境中，人們用於社會交往的各類手勢、視覺符號乃至聲音，更是在人與現實世界體驗互動和認知加工過程中形成的，兼具認知性和社會性。 之所以能夠進入社會交際，正是因為這類對複雜現實進行簡約性表征的非語言符號也是「來自人與人、人與自然的互動，來自人對這些互動的體驗和認知加工」 （牛保義，2021：28）。…