在文字和視覺模態的協同作用下，讀者「多模態器官」體驗且認識到身體與書籍之間不僅是概念上的跨域映射關係，也是自己身體和心理互動體驗下的「合二為一」。 這一實例完美地揭示了多模態文學對多模態體認的「前景化」調用，突出了體認的多模態性。

1·2 體認的交互性

體認語言學在闡述其核心原則「現實—認知—語言」時，格外強調體認的「互動性」：一是人通過對外部現實世界（包括自然、社會、文化等）直接感性接觸所產生的互動體驗，二是人在外界感性接觸基礎上進行的認知加工。 從「體的互動體驗」到「認的認知加工」，再返回到體驗，循環升華 （王寅，2020: 22）。 從語言的產生、語言的發展到語言的習得都是以人的體認為基礎的（林正軍 等，2021），「現實」「認知」和「語言」之間的互動推動了語言的產生和使用。 體認語言學在闡釋各類語言現象時所使用的理論工具，如概念隱喻、認知參照點、意象圖式、理想認知模型、識解等都是圍繞人與世界的互動展開的理論闡述，都強調人與人、人與自然互動過程中身體感知覺體驗的規律性特征對於語言符號的產生、表達和理解的作用。 例如，王寅（2020）結合大量實例，闡述了隱藏在歇後語背後統一的體認型式：歇後語的前項描寫人較為直觀的感性生活體驗，後項揭示由該體驗所引發的認識，「反映了人們從『感性到理性』，從『具體到抽象』，從『外延到內涵』，從『參照點到目標』，從『明示到推理』，從『背景到圖形』，從『表層到深層』（由表及裡）的體認過程」 （王寅，2020:2）。

體認語言學關於互動性的論述主要闡釋語言產生和使用的規律性特征。 其實，體認的互動性理論能更充分地闡釋讀者在閱讀多模態文學過程中的身心交互特征，如多模態小說VAS中第139頁末端的文字為（「Still, it moves」）在排版上顛倒了文字的方向（圖2）。

圖2　VAS（Tomasula， 2002： 139）節選

要識讀這些文字，讀者必須把書旋轉過來。 這種設計配合該部分表達的主題———宇宙的本質一直處於運動之中，呼應該句「一直在動」的語義，因為讀者必須做出翻轉書本的身體行為，才能讀到「一直在動」這句話。 在該情況下，讀者的身體機能與語言對行為的觸發雙向互動，「執行一個動作有助於理解包含行為動詞的修辭短語和文學短語」（Gibbs，2005：88）。 因此，讀者翻動圖書的身體動作同時啟動了「移動／運動」這一概念，使讀者得以身心協同體驗「移動／運動」，加深對「一直在動」這句話的理解。 此外，該頁配有眾多箭頭和線條組織成的旋轉圖像，視覺、行為動作、感知和文字理解多路徑協同，創造關於宇宙旋轉移動的感性體驗和理性認知。

關於身心體認及其與世界的互動，認知科學家萊德曼（Lederman） 和克萊茨 （Kiatzy）曾指出：

「人們使用觸覺系統來感知真實物體和虛擬物體同時存在的世界，並與其進行互動。」（2001：71）同樣，馬克斯（Marks，2002：2）也指出：「我們正是通過協同觸覺、動覺和本體感受，才同時在閱讀書籍的過程中獲得身體感知和內心體驗。」從這一意義來說，通過調動讀者的身體與書本在實體意義上的直接接觸，VAS成功激活並強化了讀者的交互性體認。 體認的交互性還體現為讀者與人物之間的「協同共振」。 與常規文字小說不同，多模態小說往往借助多模態符號，頻繁調動讀者對故事世界的身體參與，這一點在敘述人物行為動作時，表現得尤為突出。 例如，在《書頁之屋》第4：0⁃：4：1頁，作者通過排版（見圖3）設計出如具象詩般的文字，描述人物戴維森（Davison）攀爬探險的行為過程：

圖3《書頁之屋》（DanieleWski，2000： 4：00） 節選

戴維森步伐緩慢，但是十分堅定，雙手交互爬行上了梯子……他仍然繼續攀爬，最終他的堅持不懈有了回報，爬行了大概半個小時後，他終於爬完了梯子的最後一根。 幾秒鐘過後，他站在一個非常……（DanieleWski， 2000： 4：00；吉本斯，2021：58）

顯然，這段文字被排列為一個梯子的形狀，從底部一行開始，每個橫檔錯落排開，在空白周邊的映襯下，深黑色字體形成的橫檔越發突顯，如同一架梯子斜依在牆上。 文字的排列順序和空間擺放方式，決定了讀者的閱讀方向和順序：自下而上，從左到右，這一順序與人物的攀爬動作一致———從低到高。 可以說，讀者在視覺符號的引導下，眼睛緊隨人物攀爬的動作，拾級而上，與人物「亦步亦趨」，一起「攀爬」。 梯子橫檔一級級向上，迫使眼睛不時穿過空白處，形成視覺跳躍（Gibbons，2021：60）。 眼睛發揮「動能閉合」（Kinetic occiusion）作用，戴維森「不斷換手」攀爬梯子。 從側面來看，當他在前面的那只手抓到高一級橫檔時，後面的手便跟著向前，這個動作類似於眼睛的動能閉合———讀完一段文字後，空白處便進入眼簾。 該例同時充分體現了兩類互動：讀者的身心互動及讀者與人物的協同共振。 當然，這種雙維互動的前提是多模態符號對讀者體認感知的誘發性潛勢。 從一般抽象意義來說，是不同模態之間的符號互動激發了讀者的身心互動及讀者與人物的互動。

正如吉布斯（Gibbons，2005： 66⁃67）所言：「認知是身體與物理／文化世界互動的產物。 思維並不是存在於人的身體內部，而是存在於大腦、身體、世界……交織形成的網絡。 『涉身』就是指大腦、身體和物理／文化環境之間的動態交互。」約翰遜（Johnson，1987：5）也指出：「我們所認識的現實由以下因素所塑造：身體運動型式、時空定位軌跡、我們與物體的互動形式；它絕不僅僅是抽象的概念和命題判斷。」為此，吉本斯（Gibbons，2021：4：2） 強調：「既然涉身是人類理解和體驗的奠基之本，那麼我們似乎可以做出這樣的邏輯推演：身體在閱讀中的參與度越多，閱讀就越有意義，影響就越深遠。」（下續）

(續上)「體認的人本觀決定體認的多模態本質。」（黃萍等，2021:118）正如顧曰國（2013:3 ）所言：「人類在正常情況下跟外部世界（包括人與人之間） 的互動都是多模態的。」由視覺、聽覺、觸覺、嗅覺、味覺組成的多模態感官系統參與到人體察世界的過程中，形成人與世界的多模態互動體驗，經由認知系統的認知加工，形成理性認識（顧曰國，2015）。

這一過程說明體認本身蘊含多模態性，體認是多模態感官系統和認知系統互動的產物。 有學者指出：「語言的產生和使用是基於『多模態感官系統』的『互動體驗』與基於『認知系統』的『認知加工』進行互動的結果。」（黃萍 等，2021:118）事實上，多模態互動體認不限於語言的產生和使用，而是體現於人類話語交際的全過程。 在實際的話語交際過程中，交際雙方往往是多感官協同參與，並不斷互動。 多模態感官的協同聯動不但刺激產生互動感知體驗，而且誘發對意義的認知加工升華。

人類交際過程的「多模態」性，不僅體現於面對面交際中的身體姿勢、手勢、聲音、語調、表情，還體現在書面交際中的字體、排版、顏色、物質性媒介等多模態特征。 也就是說，在實際交際過程中，多模態既是人類用於交際的符號手段，又是人類多種感官協同參與的體認通道。 正是基於這一認識，我們認為有必要探討多模態交際的體認性特征，豐富體認語言學的理論體系，拓展其應用范疇。

在這一方面，多模態認知詩學先行一步，結合後現代實驗文學的多模態特征，進行了開創性研究。 吉本斯運用認知－敘事學研究路徑（Cognitive⁃narratological Approach），不但把模態視為表意資源，還把不同表意系統所誘發的多感官感知、體驗和認知方式納入研究視野，她所建構的多模態認知詩學綜合性分析框架旨在剖析闡釋多模態文學交流的體認過程。 當然，多模態體認過程研究的前提是認知詩學的基本主張———文學是「人類經驗的一種具體形式」（Gavinsetal，2003：1），「文學研究可向我們揭示認知實踐，借此我們不但可以閱讀文學作品，還可以感知和理解世界」 （Gibbons，2021：26）。 多模態認知詩學認為「人們不僅通過語言，而且也通過視覺、聽覺和心理等其他方式接觸世界」 （Gibbons， 2021：38），因此，多模態認知詩學把研究焦點確定為讀者對多模態進行理解和體驗的複雜動態過程，並運用科學的方法對該過程進行動態描述。

多模態文學傾向於突出符號的物質性和意義理解的多模態性，往往通過調動讀者的身體參與，誘發和強化心理體驗。 因此，多模態文學的認知研究高度關注讀者在字體、排版、圖像形狀、顏色、佈局等視覺因素的刺激或操控下作出的行為反應或注意力變化。 如吉本斯（Gibbons，2021：4：5） 運用圖形－背景理論，解釋眼睛如何在一個視域內部或跨視域之間移動。 「在閱讀視覺語篇時，意義的理解尤其需要閱讀路徑的動態調整」（Gibbons，2021：25），眼睛在閱讀文本中的移動路徑是在視覺結構誘發下人所做出的主體性反應，如圖1（見下頁）。

讀者在閱讀到該頁時，會主動做出選擇，調整閱讀路徑。 在《書頁之屋》這一多模態小說中，有很多類似的視覺操控手段，調動和激發讀者的閱讀行為，讀者需要根據對故事世界的理解自動調整閱讀順序，甚至需要手動調整書頁的方向，這類設計突出了圖書作為閱讀對象的物理屬性，賦予讀者更多自主性，可以自行選擇閱讀順序和路徑。 這種在物理行為上的「身體」介入，往往會誘發讀者心理上的自我投射（Projection）、自我暗示（self-implication）、情感或認知反應（emotional response）（Gibbons， 2021： 27），從而直接影響讀者對故事世界的體驗和認知。 再如，在托馬蘇拉（Tomasｕia）小說《Vas： 平地上的歌劇》（VAS： An Opera in Fiatland： A Novel，文後簡稱：VAS）中，作者通過排版設計等視覺化手段使符號的物質性被高度前景化，調動讀者的身體器官實施相應行為（趙秀鳳，2021： xiii），如翻頁、調整書本方向、調控閱讀視角等行為反應。 由此，讀者直接參與敘事進程，從而「高度彰顯了讀者在文本體驗過程中的涉身參與性」「強化閱讀、存在、認知和想象等過程的涉身本質」 （趙秀鳳，2021： xiii）。

圖1　《書頁之屋》（Daniele Wski，2000:133）節選

多模態小說VAS中的主題隱喻是運用多模態符號調動多感官參與，彰顯動態性體認的典型實例。 該部小說以多種方式反復建構和表征一個主題隱喻［人類是書籍］。 一方面，這一隱喻體現為故事內聚焦人物感知覺的語言表達。 如主人公「四邊形」（小說中主人公的名字）把手術視為「對自己身體的改寫」（Tomasula， 2002： 193） 和「一次簡單的編輯」 （Tomasula， 2002: 312），以下段落更清晰地表征了人物感知和認知域中的［人體—書籍隱喻］：

四邊形（小說內主人公的名字）停下了筆，看了看指尖的渦紋，這些由線構成的巧妙圖像是祖祖輩輩，世世代代，甚至是經過125，000 代追溯到類人猿時期傳承下來的，它可以由AGCT四個基本字母來表示，這四個字母又可以構成單詞GAT、ATA、AGG，然後這些單詞構成了基因的雙螺旋句子，進而填充細胞內染色體，最後由這些細胞構成軀體這本書。 （Tomasula，2002:312；吉本斯，2021:80）

該段中關於身體的醫學術語「雙螺旋、基因、染色體、細胞」與關於書籍／寫作的常用詞語「句子、文章、書籍」整合編織在一起，最後直接用「軀體這本書」更加顯性表征［書籍—身體隱喻］。 另一方面，該書還刻意創建物理相似性，激活讀者的視知覺感知，親身體會「書籍」域與「身體域」的整合：封面主色調為桃紅色，數條藍灰色橫線隱約穿插而過，隱喻皮膚及皮下靜脈；書頁以肉色為主，其中的文本和圖片漸變為紅色、黑色和米黃色，使整本書的視覺構造仿佛人的軀體，隨著讀者閱讀的深入（即人的年齡的增大），皮膚日漸失去光澤，佈滿皺紋。(下續)

趙秀鳳·崔亞霄：多模態體認詩學—基於體認語言學的研究

摘要：本文把多模態文學的認知研究置於體認語言學理論視域，考察多模態文學交流的體認性特征，提出構建和推動「多模態體認詩學」的研究設想。 多模態文學的認知研究結合具體文學作品揭示了多模態文學交流過程的多維體認特征。一方面，多模態文學符號也與語言符號一樣，具有認知性、社會性和文化性，其交流過程也涉及身體體驗和認知加工的循環互動；另一方面，多模態文學交流過程中的體認特征也體現出一定的獨特性，即體認的多模態性、多維交互性和複雜系統性。 為此，本文提出應從拓寬體認語言學的外延、豐富體認語言學的理論蘊含、推動體認語言學和詩學的交叉融合三個方面，推動「多模態體認詩學」研究。 本研究從文學和語言學跨學科視野，探討人類符號交際的體認性，有助於在後現代語境下切實推動多領域的互動交流對話，踐行體認語言學的後現代主義哲學觀，推動學術研究的開放多元。

近年來，在歐美興起了一種新的文學研究動向———多模態認知詩學研究，從認知的角度考察多種模態協同表征的文學的交流過程和效果。 這一研究動向由以英國謝菲爾德大學艾莉森·吉本斯（Alison Gibbons）為代表的一批學者推動，他們把研究對象從純文字小說拓展到運用多種模態符號創作的各類文學如後現代實驗文學（Page，2009；Gibbons，2012；Caracciolo，2014：）。 該研究動向關注語言和非語言符號協同構成的多模態實驗文學對讀者認知體驗和接受產生的影響，反過來，也考察讀者的認知體驗對後現代實驗文學創作發揮的制約性作用，即關注多模態文學與讀者之間的互動體驗。

多種模態符號協同互動所創建的文學作品對讀者的常規閱讀圖式，包括感知體驗、認知解讀、理解和情感反應，都帶來了新的改變或挑戰，其突出特點就是後現代多模態文學高度彰顯文學作品自身的物質性、互文指涉、排版的新奇性等，對讀者在文學體驗過程中的涉身參與提出了新要求。

不同於傳統純文字小說，多模態小說不但需要讀者想象性參與虛構小說故事世界，而且需要切實調動身體器官實施相應行為，需要不斷在小說創建的文本世界和作者及讀者所在的話語世界之間穿插切換，這種新型文學交流得以順暢進行的前提正是多模態符號的體認性。

正是基於對後現代實驗文學多模態交互體認特征的認識，吉本斯於2012年出版了《多模態認知詩學和實驗文學》（Multimodality， Cognition， And Experimental Literature）一書，整合認知語言學、神經認知科學、視覺感知、多模態符號學等多領域研究成果，強調沿用廣義認知原則，如多感官感知原則、涉身體驗原則等，探究多模態敘事對讀者敘事體驗和情感反應的影響。 在該書中，吉本斯以四部後現代實驗小說為例，詳細闡述了讀者的閱讀感知體驗。 之後，吉本斯沿用這一研究路徑，發表了系列研究成果（Brayetal 2012； Gibbons，2016； Gibbons，2021），使多模態認知詩學成為文學認知研究領域的後起之秀。

縱觀已有的多模態認知詩學研究，筆者發現無論其理論闡述還是應用實踐都與王寅（2014：）提出的「體認語言學」（Embodied-Cognitive Linguistics，簡稱：ECL）的核心觀點不謀而合。 本文意在基於體認語言學的理論視域，梳理並考察多模態認知詩學闡述的多模態體認觀，加強兩個不同研究領域之間的互動，進一步推動文學和語言學研究在「後現代哲學」語境下的「同堂對話」 （賈娟 等，2020： 32），豐富「體認」內涵，拓展體認語言學的應用范疇，推動構建「多模態體認詩學」。

另一方面來看，體認語言學（王寅，2014：）無論是在理論建構，還是個案分析及應用方面，都得到了蓬勃發展。 體認語言學對語言的各個層面都展示出了強大的闡釋力，如轉喻（魏在江，2019）、指類句（雷卿，2019）、兼語構式 （劉雲飛，2019）、名謂句 （帖伊 等，2019）、虛擬位移 （張克定，2020）、歇後語（王寅，2020） 等。 筆者認為，體認語言學不但精確概括了語言的本質，其基本觀點和核心原則對其他社會符號也有強大的闡釋力。 例如，在特定社會文化語境中，人們用於社會交往的各類手勢、視覺符號乃至聲音，更是在人與現實世界體驗互動和認知加工過程中形成的，兼具認知性和社會性。 之所以能夠進入社會交際，正是因為這類對複雜現實進行簡約性表征的非語言符號也是「來自人與人、人與自然的互動，來自人對這些互動的體驗和認知加工」 （牛保義，2021：28）。

正是在這層意義上，我們贊同王銘鈺等（2021）的主張，應把體認語言學上升為「體認符號學」，有必要結合多種符號組合和應用實例，闡述「體認」在更廣泛符號層面的普遍意義和價值。

基於以上考慮，本文試圖結合已有研究，從多模態文學交流的體認特征入手，闡述借鑑體認語言學的核心理論和方法，針對多模態文學的語類特征，推動「多模態體認詩學」研究。

1.多模態文學交流的體認特征

1.1 體認的多模態性

王寅（2014）在認知語言學涉身體驗基礎上，結合中國傳統哲學和後現代哲學的基本立場，提出了語言意義的「體認觀」，將其哲學立場命名為「體認哲學」，強調「人本性」和「唯物論」的辯證統一。

體認觀一方面堅持了喬姆斯基和認知語言學從人的心智角度研究語言的基本取向 （王銘玉等，2021： 2），另一方面又與後現代哲學的人本主義立場一脈相承，突出強調語言和語言研究中的人本性（賈娟等，2020：33），主張語言研究必須強調人對現實世界進行的體驗（王寅，2014： 61⁃67） ，因此，體認哲學觀更加全面綜合，更接近人類語言交際的現實。

（原題：多模態體認詩學—基於體認語言學的研究；作者趙秀鳳&崔亞霄；原載：外國語文 [雙月刊]；2023 年9 月；第39 卷　第5期；82至92頁；作者單位： 中國石油大學 外國語學院，北京10224：9；關鍵詞：多模態認知詩學；體認語言學；多模態文學；體認詩學；參考文獻略，請看原文）