(續上)「體認的人本觀決定體認的多模態本質。」（黃萍等，2021:118）正如顧曰國（2013:3 ）所言：「人類在正常情況下跟外部世界（包括人與人之間） 的互動都是多模態的。」由視覺、聽覺、觸覺、嗅覺、味覺組成的多模態感官系統參與到人體察世界的過程中，形成人與世界的多模態互動體驗，經由認知系統的認知加工，形成理性認識（顧曰國，2015）。

這一過程說明體認本身蘊含多模態性，體認是多模態感官系統和認知系統互動的產物。 有學者指出：「語言的產生和使用是基於『多模態感官系統』的『互動體驗』與基於『認知系統』的『認知加工』進行互動的結果。」（黃萍 等，2021:118）事實上，多模態互動體認不限於語言的產生和使用，而是體現於人類話語交際的全過程。 在實際的話語交際過程中，交際雙方往往是多感官協同參與，並不斷互動。 多模態感官的協同聯動不但刺激產生互動感知體驗，而且誘發對意義的認知加工升華。

人類交際過程的「多模態」性，不僅體現於面對面交際中的身體姿勢、手勢、聲音、語調、表情，還體現在書面交際中的字體、排版、顏色、物質性媒介等多模態特征。 也就是說，在實際交際過程中，多模態既是人類用於交際的符號手段，又是人類多種感官協同參與的體認通道。 正是基於這一認識，我們認為有必要探討多模態交際的體認性特征，豐富體認語言學的理論體系，拓展其應用范疇。

在這一方面，多模態認知詩學先行一步，結合後現代實驗文學的多模態特征，進行了開創性研究。 吉本斯運用認知－敘事學研究路徑（Cognitive⁃narratological Approach），不但把模態視為表意資源，還把不同表意系統所誘發的多感官感知、體驗和認知方式納入研究視野，她所建構的多模態認知詩學綜合性分析框架旨在剖析闡釋多模態文學交流的體認過程。 當然，多模態體認過程研究的前提是認知詩學的基本主張———文學是「人類經驗的一種具體形式」（Gavinsetal，2003：1），「文學研究可向我們揭示認知實踐，借此我們不但可以閱讀文學作品，還可以感知和理解世界」 （Gibbons，2021：26）。 多模態認知詩學認為「人們不僅通過語言，而且也通過視覺、聽覺和心理等其他方式接觸世界」 （Gibbons， 2021：38），因此，多模態認知詩學把研究焦點確定為讀者對多模態進行理解和體驗的複雜動態過程，並運用科學的方法對該過程進行動態描述。

多模態文學傾向於突出符號的物質性和意義理解的多模態性，往往通過調動讀者的身體參與，誘發和強化心理體驗。 因此，多模態文學的認知研究高度關注讀者在字體、排版、圖像形狀、顏色、佈局等視覺因素的刺激或操控下作出的行為反應或注意力變化。 如吉本斯（Gibbons，2021：4：5） 運用圖形－背景理論，解釋眼睛如何在一個視域內部或跨視域之間移動。 「在閱讀視覺語篇時，意義的理解尤其需要閱讀路徑的動態調整」（Gibbons，2021：25），眼睛在閱讀文本中的移動路徑是在視覺結構誘發下人所做出的主體性反應，如圖1（見下頁）。

讀者在閱讀到該頁時，會主動做出選擇，調整閱讀路徑。 在《書頁之屋》這一多模態小說中，有很多類似的視覺操控手段，調動和激發讀者的閱讀行為，讀者需要根據對故事世界的理解自動調整閱讀順序，甚至需要手動調整書頁的方向，這類設計突出了圖書作為閱讀對象的物理屬性，賦予讀者更多自主性，可以自行選擇閱讀順序和路徑。 這種在物理行為上的「身體」介入，往往會誘發讀者心理上的自我投射（Projection）、自我暗示（self-implication）、情感或認知反應（emotional response）（Gibbons， 2021： 27），從而直接影響讀者對故事世界的體驗和認知。 再如，在托馬蘇拉（Tomasｕia）小說《Vas： 平地上的歌劇》（VAS： An Opera in Fiatland： A Novel，文後簡稱：VAS）中，作者通過排版設計等視覺化手段使符號的物質性被高度前景化，調動讀者的身體器官實施相應行為（趙秀鳳，2021： xiii），如翻頁、調整書本方向、調控閱讀視角等行為反應。 由此，讀者直接參與敘事進程，從而「高度彰顯了讀者在文本體驗過程中的涉身參與性」「強化閱讀、存在、認知和想象等過程的涉身本質」 （趙秀鳳，2021： xiii）。

圖1　《書頁之屋》（Daniele Wski，2000:133）節選

多模態小說VAS中的主題隱喻是運用多模態符號調動多感官參與，彰顯動態性體認的典型實例。 該部小說以多種方式反復建構和表征一個主題隱喻［人類是書籍］。 一方面，這一隱喻體現為故事內聚焦人物感知覺的語言表達。 如主人公「四邊形」（小說中主人公的名字）把手術視為「對自己身體的改寫」（Tomasula， 2002： 193） 和「一次簡單的編輯」 （Tomasula， 2002: 312），以下段落更清晰地表征了人物感知和認知域中的［人體—書籍隱喻］：

四邊形（小說內主人公的名字）停下了筆，看了看指尖的渦紋，這些由線構成的巧妙圖像是祖祖輩輩，世世代代，甚至是經過125，000 代追溯到類人猿時期傳承下來的，它可以由AGCT四個基本字母來表示，這四個字母又可以構成單詞GAT、ATA、AGG，然後這些單詞構成了基因的雙螺旋句子，進而填充細胞內染色體，最後由這些細胞構成軀體這本書。 （Tomasula，2002:312；吉本斯，2021:80）

該段中關於身體的醫學術語「雙螺旋、基因、染色體、細胞」與關於書籍／寫作的常用詞語「句子、文章、書籍」整合編織在一起，最後直接用「軀體這本書」更加顯性表征［書籍—身體隱喻］。 另一方面，該書還刻意創建物理相似性，激活讀者的視知覺感知，親身體會「書籍」域與「身體域」的整合：封面主色調為桃紅色，數條藍灰色橫線隱約穿插而過，隱喻皮膚及皮下靜脈；書頁以肉色為主，其中的文本和圖片漸變為紅色、黑色和米黃色，使整本書的視覺構造仿佛人的軀體，隨著讀者閱讀的深入（即人的年齡的增大），皮膚日漸失去光澤，佈滿皺紋。(下續)

趙秀鳳·崔亞霄：多模態體認詩學—基於體認語言學的研究

摘要：本文把多模態文學的認知研究置於體認語言學理論視域，考察多模態文學交流的體認性特征，提出構建和推動「多模態體認詩學」的研究設想。 多模態文學的認知研究結合具體文學作品揭示了多模態文學交流過程的多維體認特征。一方面，多模態文學符號也與語言符號一樣，具有認知性、社會性和文化性，其交流過程也涉及身體體驗和認知加工的循環互動；另一方面，多模態文學交流過程中的體認特征也體現出一定的獨特性，即體認的多模態性、多維交互性和複雜系統性。 為此，本文提出應從拓寬體認語言學的外延、豐富體認語言學的理論蘊含、推動體認語言學和詩學的交叉融合三個方面，推動「多模態體認詩學」研究。 本研究從文學和語言學跨學科視野，探討人類符號交際的體認性，有助於在後現代語境下切實推動多領域的互動交流對話，踐行體認語言學的後現代主義哲學觀，推動學術研究的開放多元。

近年來，在歐美興起了一種新的文學研究動向———多模態認知詩學研究，從認知的角度考察多種模態協同表征的文學的交流過程和效果。 這一研究動向由以英國謝菲爾德大學艾莉森·吉本斯（Alison Gibbons）為代表的一批學者推動，他們把研究對象從純文字小說拓展到運用多種模態符號創作的各類文學如後現代實驗文學（Page，2009；Gibbons，2012；Caracciolo，2014：）。 該研究動向關注語言和非語言符號協同構成的多模態實驗文學對讀者認知體驗和接受產生的影響，反過來，也考察讀者的認知體驗對後現代實驗文學創作發揮的制約性作用，即關注多模態文學與讀者之間的互動體驗。

多種模態符號協同互動所創建的文學作品對讀者的常規閱讀圖式，包括感知體驗、認知解讀、理解和情感反應，都帶來了新的改變或挑戰，其突出特點就是後現代多模態文學高度彰顯文學作品自身的物質性、互文指涉、排版的新奇性等，對讀者在文學體驗過程中的涉身參與提出了新要求。

不同於傳統純文字小說，多模態小說不但需要讀者想象性參與虛構小說故事世界，而且需要切實調動身體器官實施相應行為，需要不斷在小說創建的文本世界和作者及讀者所在的話語世界之間穿插切換，這種新型文學交流得以順暢進行的前提正是多模態符號的體認性。

正是基於對後現代實驗文學多模態交互體認特征的認識，吉本斯於2012年出版了《多模態認知詩學和實驗文學》（Multimodality， Cognition， And Experimental Literature）一書，整合認知語言學、神經認知科學、視覺感知、多模態符號學等多領域研究成果，強調沿用廣義認知原則，如多感官感知原則、涉身體驗原則等，探究多模態敘事對讀者敘事體驗和情感反應的影響。 在該書中，吉本斯以四部後現代實驗小說為例，詳細闡述了讀者的閱讀感知體驗。 之後，吉本斯沿用這一研究路徑，發表了系列研究成果（Brayetal 2012； Gibbons，2016； Gibbons，2021），使多模態認知詩學成為文學認知研究領域的後起之秀。

縱觀已有的多模態認知詩學研究，筆者發現無論其理論闡述還是應用實踐都與王寅（2014：）提出的「體認語言學」（Embodied-Cognitive Linguistics，簡稱：ECL）的核心觀點不謀而合。 本文意在基於體認語言學的理論視域，梳理並考察多模態認知詩學闡述的多模態體認觀，加強兩個不同研究領域之間的互動，進一步推動文學和語言學研究在「後現代哲學」語境下的「同堂對話」 （賈娟 等，2020： 32），豐富「體認」內涵，拓展體認語言學的應用范疇，推動構建「多模態體認詩學」。

另一方面來看，體認語言學（王寅，2014：）無論是在理論建構，還是個案分析及應用方面，都得到了蓬勃發展。 體認語言學對語言的各個層面都展示出了強大的闡釋力，如轉喻（魏在江，2019）、指類句（雷卿，2019）、兼語構式 （劉雲飛，2019）、名謂句 （帖伊 等，2019）、虛擬位移 （張克定，2020）、歇後語（王寅，2020） 等。 筆者認為，體認語言學不但精確概括了語言的本質，其基本觀點和核心原則對其他社會符號也有強大的闡釋力。 例如，在特定社會文化語境中，人們用於社會交往的各類手勢、視覺符號乃至聲音，更是在人與現實世界體驗互動和認知加工過程中形成的，兼具認知性和社會性。 之所以能夠進入社會交際，正是因為這類對複雜現實進行簡約性表征的非語言符號也是「來自人與人、人與自然的互動，來自人對這些互動的體驗和認知加工」 （牛保義，2021：28）。

正是在這層意義上，我們贊同王銘鈺等（2021）的主張，應把體認語言學上升為「體認符號學」，有必要結合多種符號組合和應用實例，闡述「體認」在更廣泛符號層面的普遍意義和價值。

基於以上考慮，本文試圖結合已有研究，從多模態文學交流的體認特征入手，闡述借鑑體認語言學的核心理論和方法，針對多模態文學的語類特征，推動「多模態體認詩學」研究。

1.多模態文學交流的體認特征

1.1 體認的多模態性

王寅（2014）在認知語言學涉身體驗基礎上，結合中國傳統哲學和後現代哲學的基本立場，提出了語言意義的「體認觀」，將其哲學立場命名為「體認哲學」，強調「人本性」和「唯物論」的辯證統一。

體認觀一方面堅持了喬姆斯基和認知語言學從人的心智角度研究語言的基本取向 （王銘玉等，2021： 2），另一方面又與後現代哲學的人本主義立場一脈相承，突出強調語言和語言研究中的人本性（賈娟等，2020：33），主張語言研究必須強調人對現實世界進行的體驗（王寅，2014： 61⁃67） ，因此，體認哲學觀更加全面綜合，更接近人類語言交際的現實。

（原題：多模態體認詩學—基於體認語言學的研究；作者趙秀鳳&崔亞霄；原載：外國語文 [雙月刊]；2023 年9 月；第39 卷　第5期；82至92頁；作者單位： 中國石油大學 外國語學院，北京10224：9；關鍵詞：多模態認知詩學；體認語言學；多模態文學；體認詩學；參考文獻略，請看原文）

【變化】

有些晴天，寒意襲人，街上的聲音異常清晰地傳到耳際，與我之間的溝通顯得那麼暢達，仿佛房子四周的牆壁都給拆了似的，每逢電車駛過，它那叮叮噹噹的鈴聲就宛如一把銀刀在敲擊玻璃的房子。更美妙的，是我在心裡聽到的那把潛在的小提琴奏出的令人陶醉的新的旋律。隨著溫度和外界光線的變化，琴弦變得時而緊張，時而放鬆。在我們體內，這潛在的樂器在日復一日單調劃一的生活節奏中保持著沉默，讓它奏出如歌旋律的正是差異和變化音樂的那個源泉：有些日子裡，天氣的變化會使我們即刻從一種音樂氛圍轉換到另一種氛圍。我們會回憶起一支久已忘懷的曲調，歌的旋律會以數學般的精確浮現在記憶中，甚至都來不及去辨認這到底是哪支歌，便會信口唱了出來。唯有這些內在的變化（盡管它們也是受外界影響產生的），才會引起我對外部世界印象的改變。腦海中那扇久久關閉的交流溝通之門開啟了。小城生活的片段、歡娛郊游的場景，都在意識中浮現出來了。隨著琴弦的顫動，我全身都震顫起來，我相信，為了能再有一次如此奇妙的體驗，我會願意付出業已逝去和行將到來的全部生命作為代價——這些生命所留下的痕跡，早晚是要給習慣這塊橡皮拂拭殆盡的。

（摘自：《追憶似水年華》[法語：À la recherche du temps perdu，英语：In Search of Lost Time: The Prisoner and the Fugitive]，[法国]馬塞爾·普魯斯特 [Marcel Proust ，1871年—1922年] 的作品，出版時間：1913–1927，共7卷）