當然，多模態體認過程研究的前提是認知詩學的基本主張———文學是「人類經驗的一種具體形式」（Gavinsetal，2003：1），「文學研究可向我們揭示認知實踐，借此我們不但可以閱讀文學作品，還可以感知和理解世界」 （Gibbons，2021：26）。 多模態認知詩學認為「人們不僅通過語言，而且也通過視覺、聽覺和心理等其他方式接觸世界」 （Gibbons， 2021：38），因此，多模態認知詩學把研究焦點確定為讀者對多模態進行理解和體驗的複雜動態過程，並運用科學的方法對該過程進行動態描述。

多模態文學傾向於突出符號的物質性和意義理解的多模態性，往往通過調動讀者的身體參與，誘發和強化心理體驗。 因此，多模態文學的認知研究高度關注讀者在字體、排版、圖像形狀、顏色、佈局等視覺因素的刺激或操控下作出的行為反應或注意力變化。 如吉本斯（Gibbons，2021：4：5） 運用圖形－背景理論，解釋眼睛如何在一個視域內部或跨視域之間移動。 「在閱讀視覺語篇時，意義的理解尤其需要閱讀路徑的動態調整」（Gibbons，2021：25），眼睛在閱讀文本中的移動路徑是在視覺結構誘發下人所做出的主體性反應，如圖1（見下頁）。

讀者在閱讀到該頁時，會主動做出選擇，調整閱讀路徑。 在《書頁之屋》這一多模態小說中，有很多類似的視覺操控手段，調動和激發讀者的閱讀行為，讀者需要根據對故事世界的理解自動調整閱讀順序，甚至需要手動調整書頁的方向，這類設計突出了圖書作為閱讀對象的物理屬性，賦予讀者更多自主性，可以自行選擇閱讀順序和路徑。 這種在物理行為上的「身體」介入，往往會誘發讀者心理上的自我投射（Projection）、自我暗示（self-implication）、情感或認知反應（emotional response）（Gibbons， 2021： 27），從而直接影響讀者對故事世界的體驗和認知。 再如，在托馬蘇拉（Tomasｕia）小說《Vas： 平地上的歌劇》（VAS： An Opera in Fiatland： A Novel，文後簡稱：VAS）中，作者通過排版設計等視覺化手段使符號的物質性被高度前景化，調動讀者的身體器官實施相應行為（趙秀鳳，2021： xiii），如翻頁、調整書本方向、調控閱讀視角等行為反應。 由此，讀者直接參與敘事進程，從而「高度彰顯了讀者在文本體驗過程中的涉身參與性」「強化閱讀、存在、認知和想象等過程的涉身本質」 （趙秀鳳，2021： xiii）。

圖1　《書頁之屋》（Daniele Wski，2000：133）節選

多模態小說VAS中的主題隱喻是運用多模態符號調動多感官參與，彰顯動態性體認的典型實例。 該部小說以多種方式反復建構和表征一個主題隱喻［人類是書籍］。 一方面，這一隱喻體現為故事內聚焦人物感知覺的語言表達。 如主人公「四邊形」（小說中主人公的名字）把手術視為「對自己身體的改寫」（Tomasula， 2002： 193） 和「一次簡單的編輯」 （Tomasula， 2002: 312），以下段落更清晰地表征了人物感知和認知域中的［人體—書籍隱喻］：

四邊形（小說內主人公的名字）停下了筆，看了看指尖的渦紋，這些由線構成的巧妙圖像是祖祖輩輩，世世代代，甚至是經過125，000 代追溯到類人猿時期傳承下來的，它可以由AGCT四個基本字母來表示，這四個字母又可以構成單詞GAT、ATA、AGG，然後這些單詞構成了基因的雙螺旋句子，進而填充細胞內染色體，最後由這些細胞構成軀體這本書。 （Tomasula，2002:312；吉本斯，2021:80）

該段中關於身體的醫學術語「雙螺旋、基因、染色體、細胞」與關於書籍／寫作的常用詞語「句子、文章、書籍」整合編織在一起，最後直接用「軀體這本書」更加顯性表征［書籍—身體隱喻］。 另一方面，該書還刻意創建物理相似性，激活讀者的視知覺感知，親身體會「書籍」域與「身體域」的整合：封面主色調為桃紅色，數條藍灰色橫線隱約穿插而過，隱喻皮膚及皮下靜脈；書頁以肉色為主，其中的文本和圖片漸變為紅色、黑色和米黃色，使整本書的視覺構造仿佛人的軀體，隨著讀者閱讀的深入（即人的年齡的增大），皮膚日漸失去光澤，佈滿皺紋。

（原題：多模態體認詩學—基於體認語言學的研究；作者趙秀鳳&崔亞霄；原載：外國語文 [雙月刊]；2023 年9 月；第39 卷　第5期；82至92頁；作者單位： 中國石油大學 外國語學院，北京10224：9；關鍵詞：多模態認知詩學；體認語言學；多模態文學；體認詩學；參考文獻略，請看原文）