21世紀起的後現代實驗文學，充分利用各類圖文符號，激活人的感知體驗、情感和認知加工；這類文學的日漸興盛也充分說明了多模態符號體認性對文學的影響。 因此，我們有必要拓寬體認語言學的外延，從廣義的符號層面，考察體認的過程；如針對後現代實驗文學的多模態組合特征，闡釋該類文學得以產生、接受、形成獨特文學樣類背後的體認機制；通過透視讀者的閱讀體驗和認知加工過程，揭示多模態文學交流背後的規律性特征。 這一「多模態體認詩學」的研究路徑是對語言及其他符號體認性的有力補充，有助於更加全面立體考察語言及多模態符號交際全過程中的體認性，揭示符號的人本性、唯物性和互動性本質。

其次，豐富體認語言學的理論蘊含。 體認語言學傾向於在人類群體意義上闡發體認的意義，多模態體認詩學則可以關注真實、個體讀者的體認經驗，即關注真實的沉浸於文學作品中的真實讀者，考察他們沉浸於文學自然閱讀過程中的真實體認過程。 這可以通過實證檢驗的手段得以實現。

我們可以從文本表層符號結構和讀者實際體認之間的關聯性角度，闡述多模態文學交流過程中體認的多模態性、交互性、複雜系統性。 讀者在多模態文學閱讀過程中的身體行為、多感官感知體驗及其對認知加工的影響，反映出符號接受方具有「主動而複雜的互動體驗和認知加工潛勢」（Gibbons， 2021：19）。 多模態符號之間的協同互動誘發多模態感官的聯動反應，使多模態體認具有了相當程度的「一體化」特征，正如加桑費爾等（Ghazanfar et al．， 2006： 278） 所論：「我們與世界的交互涉及一系列感官輸入，我們的感知是對世界的一體化表征。 新皮質按照使認知加工過程盡可能快速有效的方式組織起來。」多模態文學中的表征手段豐富多樣，互動方式多元，給習慣於傳統小說閱讀的讀者帶來了很大挑戰，同時也誘發了新奇的閱讀體驗。 多模態形成多感官刺激，使讀者調用多個感覺器官及其處理各自信號的神經認知系統。 在閱讀過程中，隨著多種模態符號形式的鋪展協同，讀者的「多模態感官系統」和「神經認知系統」不斷動態連接，調整變化，從而推動「體」和「認」的多維複雜聯動。 概言之，多模態體認詩學對體認的闡發考察，可以極大豐富體認的內涵，有助於我們從人類話語交際的角度更加全面闡釋和理解符號「體認」的本質和特征。

最後，推動體認語言學和詩學的交叉融合。 雖然從多模態話語交際的角度來說，語言交際和視覺交際是兩種相互獨立的符碼系統，模態或模態組構不同，所激活的認知體驗有所差異，但是從多模態體認觀出發，我們就會發現，事實上在多種符號交際的背後存在某些更深層、更抽象的符碼體認機制，如圖形—背景、概念隱喻、轉喻、概念整合等。 對此，克雷絲等（Ｋress et al．1996：188） 明確指出：「語言的信息結構與視覺中的橫向組織結構極為相近，這一點也印證了存在某種更深層、更抽象的符碼傾向，這些傾向在不同的符號模態中有不同的體現形式而已。」因此，我們不應該把圖像結構與語言結構進行簡單的機械類比，語言和圖像都是心理過程的外在符號表現形式，我們應該探尋其背後共同的心理加工機制（Gibbons，2021： 15）———體認機制。 從話語交際的實際過程來說，符號構成的文本是體認的語境，是唯物性基礎，具有誘發性，誘發交際接受方的身體反應和心理感知。

基於這一認識，多模態體認詩學應該高度重視人的視覺感知（Visual Perception）結構，理解和闡釋人的視覺感知機能（Gordon，1997； Haber et al． ，1973； Posner et Al． ，1997； Styles，1997），如哪些色彩與尺寸特征吸引感知者的注意力，或事物之間的相似如何使感知者把它們視為一類，視知覺調整如何影響心理的認知加工等（Gibbons，2021：16）。 基於此，通過既具體又綜合的多模態體認分析，體認語言學所闡述的「體認」性分析可以被拓展到多模態話語交際層面，拓展其應用范圍，而多模態文學交流體認的獨特性也可以反過來豐富體認語言學的理論意蘊，在更高維度上推動體認語言學和詩學的交叉融合。

3　結語

作為共同關注後現代哲學和文化思潮的兩大研究領域，體認語言學和多模態認知詩學在理論觀點和應用分析方面存在諸多相同、相通之處，如都強調符號的認知性和社會性，都強調身體體驗與認知加工的互動，都遵循「現實—認知—語言（符號）」原則，闡釋體認性。 多模態認知詩學對多模態文學交流過程中體認的多模態性、交互性、複雜系統性的論述，為體認語言學開辟了一個新視角，豐富了語言體認觀的內涵，拓展了其應用范疇。

本文提出應從拓寬體認語言學的外延、豐富體認語言學的理論蘊含、推動體認語言學和詩學的交叉融合三個方面，構建和推動「多模態體認詩學」研究。 多模態體認詩學研究不但可以從真實讀者體認角度「打破語言和圖像研究之間的藩籬」（Kress et al．1996：183），闡釋多模態文學交流的意義和價值，還可以從更深層的超越具體符碼表征機制的角度，推動體認符號學研究。 本研究從文學和語言學跨學科視野，探討人類符號交際的體認性，有助於在後現代語境下切實推動多領域的互動交流對話，踐行體認語言學的後現代主義哲學觀，推動學術研究更加多元和開放。



（原題：多模態體認詩學—基於體認語言學的研究；作者趙秀鳳&崔亞霄；原載：外國語文 [雙月刊]；2023 年9 月；第39 卷　第5期；82至92頁；作者單位： 中國石油大學 外國語學院，北京10224：9；關鍵詞：多模態認知詩學；體認語言學；多模態文學；體認詩學；參考文獻略，請看原文）