Comment

Comment by 陳老頭 on June 22, 2024 at 11:24am

趙秀鳳·崔亞霄：多模態體認詩學—基於體認語言學的研究

摘要：本文把多模態文學的認知研究置於體認語言學理論視域，考察多模態文學交流的體認性特征，提出構建和推動「多模態體認詩學」的研究設想。 多模態文學的認知研究結合具體文學作品揭示了多模態文學交流過程的多維體認特征。一方面，多模態文學符號也與語言符號一樣，具有認知性、社會性和文化性，其交流過程也涉及身體體驗和認知加工的循環互動；另一方面，多模態文學交流過程中的體認特征也體現出一定的獨特性，即體認的多模態性、多維交互性和複雜系統性。 為此，本文提出應從拓寬體認語言學的外延、豐富體認語言學的理論蘊含、推動體認語言學和詩學的交叉融合三個方面，推動「多模態體認詩學」研究。 本研究從文學和語言學跨學科視野，探討人類符號交際的體認性，有助於在後現代語境下切實推動多領域的互動交流對話，踐行體認語言學的後現代主義哲學觀，推動學術研究的開放多元。

近年來，在歐美興起了一種新的文學研究動向———多模態認知詩學研究，從認知的角度考察多種模態協同表征的文學的交流過程和效果。 這一研究動向由以英國謝菲爾德大學艾莉森·吉本斯（Alison Gibbons）為代表的一批學者推動，他們把研究對象從純文字小說拓展到運用多種模態符號創作的各類文學如後現代實驗文學（Page，2009；Gibbons，2012；Caracciolo，2014：）。 該研究動向關注語言和非語言符號協同構成的多模態實驗文學對讀者認知體驗和接受產生的影響，反過來，也考察讀者的認知體驗對後現代實驗文學創作發揮的制約性作用，即關注多模態文學與讀者之間的互動體驗。

多種模態符號協同互動所創建的文學作品對讀者的常規閱讀圖式，包括感知體驗、認知解讀、理解和情感反應，都帶來了新的改變或挑戰，其突出特點就是後現代多模態文學高度彰顯文學作品自身的物質性、互文指涉、排版的新奇性等，對讀者在文學體驗過程中的涉身參與提出了新要求。

不同於傳統純文字小說，多模態小說不但需要讀者想象性參與虛構小說故事世界，而且需要切實調動身體器官實施相應行為，需要不斷在小說創建的文本世界和作者及讀者所在的話語世界之間穿插切換，這種新型文學交流得以順暢進行的前提正是多模態符號的體認性。

正是基於對後現代實驗文學多模態交互體認特征的認識，吉本斯於2012年出版了《多模態認知詩學和實驗文學》（Multimodality， Cognition， And Experimental Literature）一書，整合認知語言學、神經認知科學、視覺感知、多模態符號學等多領域研究成果，強調沿用廣義認知原則，如多感官感知原則、涉身體驗原則等，探究多模態敘事對讀者敘事體驗和情感反應的影響。 在該書中，吉本斯以四部後現代實驗小說為例，詳細闡述了讀者的閱讀感知體驗。 之後，吉本斯沿用這一研究路徑，發表了系列研究成果（Brayetal 2012； Gibbons，2016； Gibbons，2021），使多模態認知詩學成為文學認知研究領域的後起之秀。

縱觀已有的多模態認知詩學研究，筆者發現無論其理論闡述還是應用實踐都與王寅（2014：）提出的「體認語言學」（Embodied-Cognitive Linguistics，簡稱：ECL）的核心觀點不謀而合。 本文意在基於體認語言學的理論視域，梳理並考察多模態認知詩學闡述的多模態體認觀，加強兩個不同研究領域之間的互動，進一步推動文學和語言學研究在「後現代哲學」語境下的「同堂對話」 （賈娟 等，2020： 32），豐富「體認」內涵，拓展體認語言學的應用范疇，推動構建「多模態體認詩學」。

另一方面來看，體認語言學（王寅，2014：）無論是在理論建構，還是個案分析及應用方面，都得到了蓬勃發展。 體認語言學對語言的各個層面都展示出了強大的闡釋力，如轉喻（魏在江，2019）、指類句（雷卿，2019）、兼語構式 （劉雲飛，2019）、名謂句 （帖伊 等，2019）、虛擬位移 （張克定，2020）、歇後語（王寅，2020） 等。 筆者認為，體認語言學不但精確概括了語言的本質，其基本觀點和核心原則對其他社會符號也有強大的闡釋力。 例如，在特定社會文化語境中，人們用於社會交往的各類手勢、視覺符號乃至聲音，更是在人與現實世界體驗互動和認知加工過程中形成的，兼具認知性和社會性。 之所以能夠進入社會交際，正是因為這類對複雜現實進行簡約性表征的非語言符號也是「來自人與人、人與自然的互動，來自人對這些互動的體驗和認知加工」 （牛保義，2021：28）。

正是在這層意義上，我們贊同王銘鈺等（2021）的主張，應把體認語言學上升為「體認符號學」，有必要結合多種符號組合和應用實例，闡述「體認」在更廣泛符號層面的普遍意義和價值。

基於以上考慮，本文試圖結合已有研究，從多模態文學交流的體認特征入手，闡述借鑑體認語言學的核心理論和方法，針對多模態文學的語類特征，推動「多模態體認詩學」研究。

1.多模態文學交流的體認特征

1.1 體認的多模態性

王寅（2014）在認知語言學涉身體驗基礎上，結合中國傳統哲學和後現代哲學的基本立場，提出了語言意義的「體認觀」，將其哲學立場命名為「體認哲學」，強調「人本性」和「唯物論」的辯證統一。

體認觀一方面堅持了喬姆斯基和認知語言學從人的心智角度研究語言的基本取向 （王銘玉等，2021： 2），另一方面又與後現代哲學的人本主義立場一脈相承，突出強調語言和語言研究中的人本性（賈娟等，2020：33），主張語言研究必須強調人對現實世界進行的體驗（王寅，2014： 61⁃67） ，因此，體認哲學觀更加全面綜合，更接近人類語言交際的現實。

（原題：多模態體認詩學—基於體認語言學的研究；作者趙秀鳳&崔亞霄；原載：外國語文 [雙月刊]；2023 年9 月；第39 卷　第5期；82至92頁；作者單位： 中國石油大學 外國語學院，北京10224：9；關鍵詞：多模態認知詩學；體認語言學；多模態文學；體認詩學；參考文獻略，請看原文）

Comment by 陳老頭 on June 21, 2024 at 12:15pm

(續上)「體認的人本觀決定體認的多模態本質。」（黃萍等，2021:118）正如顧曰國（2013:3 ）所言：「人類在正常情況下跟外部世界（包括人與人之間） 的互動都是多模態的。」由視覺、聽覺、觸覺、嗅覺、味覺組成的多模態感官系統參與到人體察世界的過程中，形成人與世界的多模態互動體驗，經由認知系統的認知加工，形成理性認識（顧曰國，2015）。

這一過程說明體認本身蘊含多模態性，體認是多模態感官系統和認知系統互動的產物。 有學者指出：「語言的產生和使用是基於『多模態感官系統』的『互動體驗』與基於『認知系統』的『認知加工』進行互動的結果。」（黃萍 等，2021:118）事實上，多模態互動體認不限於語言的產生和使用，而是體現於人類話語交際的全過程。 在實際的話語交際過程中，交際雙方往往是多感官協同參與，並不斷互動。 多模態感官的協同聯動不但刺激產生互動感知體驗，而且誘發對意義的認知加工升華。

人類交際過程的「多模態」性，不僅體現於面對面交際中的身體姿勢、手勢、聲音、語調、表情，還體現在書面交際中的字體、排版、顏色、物質性媒介等多模態特征。 也就是說，在實際交際過程中，多模態既是人類用於交際的符號手段，又是人類多種感官協同參與的體認通道。 正是基於這一認識，我們認為有必要探討多模態交際的體認性特征，豐富體認語言學的理論體系，拓展其應用范疇。

在這一方面，多模態認知詩學先行一步，結合後現代實驗文學的多模態特征，進行了開創性研究。 吉本斯運用認知－敘事學研究路徑（Cognitive⁃narratological Approach），不但把模態視為表意資源，還把不同表意系統所誘發的多感官感知、體驗和認知方式納入研究視野，她所建構的多模態認知詩學綜合性分析框架旨在剖析闡釋多模態文學交流的體認過程。 當然，多模態體認過程研究的前提是認知詩學的基本主張———文學是「人類經驗的一種具體形式」（Gavinsetal，2003：1），「文學研究可向我們揭示認知實踐，借此我們不但可以閱讀文學作品，還可以感知和理解世界」 （Gibbons，2021：26）。 多模態認知詩學認為「人們不僅通過語言，而且也通過視覺、聽覺和心理等其他方式接觸世界」 （Gibbons， 2021：38），因此，多模態認知詩學把研究焦點確定為讀者對多模態進行理解和體驗的複雜動態過程，並運用科學的方法對該過程進行動態描述。

多模態文學傾向於突出符號的物質性和意義理解的多模態性，往往通過調動讀者的身體參與，誘發和強化心理體驗。 因此，多模態文學的認知研究高度關注讀者在字體、排版、圖像形狀、顏色、佈局等視覺因素的刺激或操控下作出的行為反應或注意力變化。 如吉本斯（Gibbons，2021：4：5） 運用圖形－背景理論，解釋眼睛如何在一個視域內部或跨視域之間移動。 「在閱讀視覺語篇時，意義的理解尤其需要閱讀路徑的動態調整」（Gibbons，2021：25），眼睛在閱讀文本中的移動路徑是在視覺結構誘發下人所做出的主體性反應，如圖1（見下頁）。

讀者在閱讀到該頁時，會主動做出選擇，調整閱讀路徑。 在《書頁之屋》這一多模態小說中，有很多類似的視覺操控手段，調動和激發讀者的閱讀行為，讀者需要根據對故事世界的理解自動調整閱讀順序，甚至需要手動調整書頁的方向，這類設計突出了圖書作為閱讀對象的物理屬性，賦予讀者更多自主性，可以自行選擇閱讀順序和路徑。 這種在物理行為上的「身體」介入，往往會誘發讀者心理上的自我投射（Projection）、自我暗示（self-implication）、情感或認知反應（emotional response）（Gibbons， 2021： 27），從而直接影響讀者對故事世界的體驗和認知。 再如，在托馬蘇拉（Tomasｕia）小說《Vas： 平地上的歌劇》（VAS： An Opera in Fiatland： A Novel，文後簡稱：VAS）中，作者通過排版設計等視覺化手段使符號的物質性被高度前景化，調動讀者的身體器官實施相應行為（趙秀鳳，2021： xiii），如翻頁、調整書本方向、調控閱讀視角等行為反應。 由此，讀者直接參與敘事進程，從而「高度彰顯了讀者在文本體驗過程中的涉身參與性」「強化閱讀、存在、認知和想象等過程的涉身本質」 （趙秀鳳，2021： xiii）。

圖1　《書頁之屋》（Daniele Wski，2000:133）節選

多模態小說VAS中的主題隱喻是運用多模態符號調動多感官參與，彰顯動態性體認的典型實例。 該部小說以多種方式反復建構和表征一個主題隱喻［人類是書籍］。 一方面，這一隱喻體現為故事內聚焦人物感知覺的語言表達。 如主人公「四邊形」（小說中主人公的名字）把手術視為「對自己身體的改寫」（Tomasula， 2002： 193） 和「一次簡單的編輯」 （Tomasula， 2002: 312），以下段落更清晰地表征了人物感知和認知域中的［人體—書籍隱喻］：

四邊形（小說內主人公的名字）停下了筆，看了看指尖的渦紋，這些由線構成的巧妙圖像是祖祖輩輩，世世代代，甚至是經過125，000 代追溯到類人猿時期傳承下來的，它可以由AGCT四個基本字母來表示，這四個字母又可以構成單詞GAT、ATA、AGG，然後這些單詞構成了基因的雙螺旋句子，進而填充細胞內染色體，最後由這些細胞構成軀體這本書。 （Tomasula，2002:312；吉本斯，2021:80）

該段中關於身體的醫學術語「雙螺旋、基因、染色體、細胞」與關於書籍／寫作的常用詞語「句子、文章、書籍」整合編織在一起，最後直接用「軀體這本書」更加顯性表征［書籍—身體隱喻］。 另一方面，該書還刻意創建物理相似性，激活讀者的視知覺感知，親身體會「書籍」域與「身體域」的整合：封面主色調為桃紅色，數條藍灰色橫線隱約穿插而過，隱喻皮膚及皮下靜脈；書頁以肉色為主，其中的文本和圖片漸變為紅色、黑色和米黃色，使整本書的視覺構造仿佛人的軀體，隨著讀者閱讀的深入（即人的年齡的增大），皮膚日漸失去光澤，佈滿皺紋。(下續)

Comment by 陳老頭 on June 20, 2024 at 7:10pm

在文字和視覺模態的協同作用下，讀者「多模態器官」體驗且認識到身體與書籍之間不僅是概念上的跨域映射關係，也是自己身體和心理互動體驗下的「合二為一」。 這一實例完美地揭示了多模態文學對多模態體認的「前景化」調用，突出了體認的多模態性。

1·2 體認的交互性

體認語言學在闡述其核心原則「現實—認知—語言」時，格外強調體認的「互動性」：一是人通過對外部現實世界（包括自然、社會、文化等）直接感性接觸所產生的互動體驗，二是人在外界感性接觸基礎上進行的認知加工。 從「體的互動體驗」到「認的認知加工」，再返回到體驗，循環升華 （王寅，2020: 22）。 從語言的產生、語言的發展到語言的習得都是以人的體認為基礎的（林正軍 等，2021），「現實」「認知」和「語言」之間的互動推動了語言的產生和使用。 體認語言學在闡釋各類語言現象時所使用的理論工具，如概念隱喻、認知參照點、意象圖式、理想認知模型、識解等都是圍繞人與世界的互動展開的理論闡述，都強調人與人、人與自然互動過程中身體感知覺體驗的規律性特征對於語言符號的產生、表達和理解的作用。 例如，王寅（2020）結合大量實例，闡述了隱藏在歇後語背後統一的體認型式：歇後語的前項描寫人較為直觀的感性生活體驗，後項揭示由該體驗所引發的認識，「反映了人們從『感性到理性』，從『具體到抽象』，從『外延到內涵』，從『參照點到目標』，從『明示到推理』，從『背景到圖形』，從『表層到深層』（由表及裡）的體認過程」 （王寅，2020:2）。

體認語言學關於互動性的論述主要闡釋語言產生和使用的規律性特征。 其實，體認的互動性理論能更充分地闡釋讀者在閱讀多模態文學過程中的身心交互特征，如多模態小說VAS中第139頁末端的文字為（「Still, it moves」）在排版上顛倒了文字的方向（圖2）。

圖2　VAS（Tomasula， 2002： 139）節選

要識讀這些文字，讀者必須把書旋轉過來。 這種設計配合該部分表達的主題———宇宙的本質一直處於運動之中，呼應該句「一直在動」的語義，因為讀者必須做出翻轉書本的身體行為，才能讀到「一直在動」這句話。 在該情況下，讀者的身體機能與語言對行為的觸發雙向互動，「執行一個動作有助於理解包含行為動詞的修辭短語和文學短語」（Gibbs，2005：88）。 因此，讀者翻動圖書的身體動作同時啟動了「移動／運動」這一概念，使讀者得以身心協同體驗「移動／運動」，加深對「一直在動」這句話的理解。 此外，該頁配有眾多箭頭和線條組織成的旋轉圖像，視覺、行為動作、感知和文字理解多路徑協同，創造關於宇宙旋轉移動的感性體驗和理性認知。

關於身心體認及其與世界的互動，認知科學家萊德曼（Lederman） 和克萊茨 （Kiatzy）曾指出：

「人們使用觸覺系統來感知真實物體和虛擬物體同時存在的世界，並與其進行互動。」（2001：71）同樣，馬克斯（Marks，2002：2）也指出：「我們正是通過協同觸覺、動覺和本體感受，才同時在閱讀書籍的過程中獲得身體感知和內心體驗。」從這一意義來說，通過調動讀者的身體與書本在實體意義上的直接接觸，VAS成功激活並強化了讀者的交互性體認。 體認的交互性還體現為讀者與人物之間的「協同共振」。 與常規文字小說不同，多模態小說往往借助多模態符號，頻繁調動讀者對故事世界的身體參與，這一點在敘述人物行為動作時，表現得尤為突出。 例如，在《書頁之屋》第4：0⁃：4：1頁，作者通過排版（見圖3）設計出如具象詩般的文字，描述人物戴維森（Davison）攀爬探險的行為過程：

圖3《書頁之屋》（DanieleWski，2000： 4：00） 節選

戴維森步伐緩慢，但是十分堅定，雙手交互爬行上了梯子……他仍然繼續攀爬，最終他的堅持不懈有了回報，爬行了大概半個小時後，他終於爬完了梯子的最後一根。 幾秒鐘過後，他站在一個非常……（DanieleWski， 2000： 4：00；吉本斯，2021：58）

顯然，這段文字被排列為一個梯子的形狀，從底部一行開始，每個橫檔錯落排開，在空白周邊的映襯下，深黑色字體形成的橫檔越發突顯，如同一架梯子斜依在牆上。 文字的排列順序和空間擺放方式，決定了讀者的閱讀方向和順序：自下而上，從左到右，這一順序與人物的攀爬動作一致———從低到高。 可以說，讀者在視覺符號的引導下，眼睛緊隨人物攀爬的動作，拾級而上，與人物「亦步亦趨」，一起「攀爬」。 梯子橫檔一級級向上，迫使眼睛不時穿過空白處，形成視覺跳躍（Gibbons，2021：60）。 眼睛發揮「動能閉合」（Kinetic occiusion）作用，戴維森「不斷換手」攀爬梯子。 從側面來看，當他在前面的那只手抓到高一級橫檔時，後面的手便跟著向前，這個動作類似於眼睛的動能閉合———讀完一段文字後，空白處便進入眼簾。 該例同時充分體現了兩類互動：讀者的身心互動及讀者與人物的協同共振。 當然，這種雙維互動的前提是多模態符號對讀者體認感知的誘發性潛勢。 從一般抽象意義來說，是不同模態之間的符號互動激發了讀者的身心互動及讀者與人物的互動。

正如吉布斯（Gibbons，2005： 66⁃67）所言：「認知是身體與物理／文化世界互動的產物。 思維並不是存在於人的身體內部，而是存在於大腦、身體、世界……交織形成的網絡。 『涉身』就是指大腦、身體和物理／文化環境之間的動態交互。」約翰遜（Johnson，1987：5）也指出：「我們所認識的現實由以下因素所塑造：身體運動型式、時空定位軌跡、我們與物體的互動形式；它絕不僅僅是抽象的概念和命題判斷。」為此，吉本斯（Gibbons，2021：4：2） 強調：「既然涉身是人類理解和體驗的奠基之本，那麼我們似乎可以做出這樣的邏輯推演：身體在閱讀中的參與度越多，閱讀就越有意義，影響就越深遠。」（下續）

Comment by 陳老頭 on June 20, 2024 at 6:27am

（續上）以上實例分析表明，多模態文學語篇充分運用多種模態符號，調動讀者的多維交互體驗，無論是人與符號資源在物理意義上的本體互動，還是文本內多種模態符號之間互動所引發的讀者在身體感知和心理認識之間的互動，都反映了多模態符號對讀者整體體認過程的影響。

1·3　體認的複雜系統性

從複雜動態系統理論視角來看（Complex Dynamic Systems，簡稱：CDS），在多模態文學的交流過程中，讀者的體認也呈現出複雜動態系統性特征。根據CDS理論，複雜系統具有以下突出特征：「複雜性，即構成元素和施動體豐富多樣、互動方式多元；動態性，即構成元素與施動體始終變化，互動方式亦始終在變；開放性，即新元素和施動體隨時可進入系統；非線性，即系統的整體變化不可預測，無法以變量分析法找到規律；此外，系統可具自發組織性和共適性，有時體現為相對穩定的狀態。」（單理揚，2019：94）

就多模態文學交流而言，一方面，讀者的體認具有多模態感官聯動性，另一方面，多模態文學的構成要素豐富多樣，這些都對多模態文學的理解體認過程產生直接影響，使體認本身成為一種複雜的動態系統，呈現出複雜系統的一般特征。首先，多模態文學交流的對象，文學作品本身就是一個由多個子模態符號系統構成的複雜系統，如後現代實驗小說系統往往包含圖像、圖形、頁面設計、空間佈局、字體、顏色、詞匯、語法、篇章結構、文學常規等等多個子系統。 多模態小說尤其是後現代實驗文學達到了高度的形式自覺，大量運用元小說和互文指涉手段、彰顯實體性、創新文本排版形式等。 吉本斯（Gibbons， 2021： 2） 把這種形式自覺在符號上的主要體現概括為以下八類：存在明顯的文本佈局和頁面設計；排印方式多樣，在文字和圖像中運用色彩；類似於具象詩，把文本文字具象化；使用包括元小說寫作在內的多種手段；吸引讀者關注文本的物質屬性；使用腳注和其他形式傳遞自我質疑；使用翻頁書技巧設計部分章節；混合使用多種文學樣類，包括文學創作風格上的混搭，如恐怖，也包括視覺效果的混搭，如剪報和劇本對白。 每個子系統之間相互聯系，相互制約，表征和建構小說世界，創建文學意義。

其次，讀者個體也可以看作一個高度複雜的動態系統，對多模態符號的閱讀理解過程本身也受個體、社會、認知、文化和環境等多因素的影響。 如在識讀魯賓（Robin） 的花瓶圖像（圖4：）時，某人可能第一眼傾向於解讀為「看到了一個置於白色背景的黑色花瓶」，而另一個人則解讀為「黑色背景下的兩張白色面孔」；「圖像閱讀並沒有線性結構的強制要求，即讀者具有主體性選擇，當然即使有個體差異，在特定社會文化群體中，也一定有規律性體驗閱讀路徑」（Gibbons，2021：14：）。 因此，他們又都可以在這兩種解讀之間任意切換，體現了讀者體驗的個體性差異。
圖4：　魯賓的花瓶圖像（吉本斯，2021：35，源自 Rubin， 1958／1915：201）

多模態文學交流是一個多要素相互作用的系統，文學構成要素和認知主體要素的多樣性和動態變化性，使文學意義的理解和體悟過程本身也呈現出複雜動態系統特征，多模態符號系統內部諸要素與讀者的多模態感官系統及認知系統之間存在「競爭、互補、對立和適應等多種交錯疊加的互動關係」（曾小燕，2017：35）。

在真實交際活動中，體認的複雜動態性既體現於讀者與文學作品及其環境之間的互動，又存在於讀者個體多種素質和能力的互動，多維互動在多模態文學符號的誘發下呈現出高度的動態性和自組織性。例如，當讀者翻開多模態小說《書頁之屋》，讀到的開篇之句是「This is not For you」（這不是為你寫的）（Daniele Wski， 2000： ix）。 該句的否定語法結構 「not」和指向故事外讀者的第二人稱代詞「you」，都令讀者感到某種「不適」，該句似乎在實施一種禁止性言語行為，阻止讀者進入小說世界。 這顯然違背小說常規，與讀者固有閱讀體驗及打開小說的閱讀衝動和欲望之間形成直接衝突，令讀者感到「認知失調」（Cognitive dissonance）。 事實上，作者是「希望借此激將法誘使讀者深入閱讀」（Gibbons， 2021： 51）。 「失調給人帶來心理不適感，會促使人們努力減少不適，達到協調。」（Festinger， 1957： 3）當人們的行為和認知發生衝突時，內心急求緩解這種失調的願望便會異常強烈（Gibbons， 2021：53），因此，讀到這句阻止性否定句後，讀者反而往往會做出「認知對抗」（Cognitive reactance）反應，即產生強烈的反抗心理，就會反其道而行之。 可見，常規、語言、讀者的閱讀欲望、心理預期及其個體心理調整適應等多要素聯動，相互作用與制衡。 該句的閱讀理解過程——從體會到符號意義表層上的被排斥，經認知對抗，做出逆反性繼續閱讀行為——充分體現了體認的動態性、複雜性和自組織性，是多種子系統連接互動的結果。此外，該句單獨構成一頁，位於按照常規應該是獻詞頁的位置，這一空間位置本身又形成了激活文學常規的符號要素，與文學作品的語類結構及其相應的閱讀常規圖式形成聯動關係，直接影響閱讀個體的體驗和認知，以及隨之產生的對抗認知反應。

2　走向多模態體認詩學

綜上所述，「多模態體認觀」拓寬了「語言體認觀」的適用視域。 多模態文學實例表明，語言符號具有認知性、社會性和文化性，多模態符號更是如此；多模態符號的協同、組合、應用更涉及身體體驗和認知加工的循環互動。 多模態文學交流也遵循「現實—認知—符號」這一核心原則，也大量啟用圖形－背景、意象圖式、概念隱喻等體認機制。 因此，我們可以說，體認語言學理論為我們闡釋多模態文學的交流過程提供了強有力的理論工具。 我們可以通過拓展體認語言學的應用范疇，從多模態符號的體認性出發，闡釋讀者與文學作品之間的互動體驗，推動「多模態體認詩學」研究。 筆者

認為可以從以下三個方面展開：

首先，拓寬體認語言學的外延。 體認語言學側重從語言生產角度論述體認的作用，闡述「現實—認知—符號」三者之間的關係。 作為揭示語言人本性的體認語言學，理應從語言產生的一般規律出發探討本源問題，但事實上人類用於交際的所有符號都具有體認性特征。(下續)

Comment by 陳老頭 on June 19, 2024 at 9:39pm

(續上) 21世紀起的後現代實驗文學，充分利用各類圖文符號，激活人的感知體驗、情感和認知加工；這類文學的日漸興盛也充分說明了多模態符號體認性對文學的影響。 因此，我們有必要拓寬體認語言學的外延，從廣義的符號層面，考察體認的過程；如針對後現代實驗文學的多模態組合特征，闡釋該類文學得以產生、接受、形成獨特文學樣類背後的體認機制；通過透視讀者的閱讀體驗和認知加工過程，揭示多模態文學交流背後的規律性特征。這一「多模態體認詩學」的研究路徑是對語言及其他符號體認性的有力補充，有助於更加全面立體考察語言及多模態符號交際全過程中的體認性，揭示符號的人本性、唯物性和互動性本質。

其次，豐富體認語言學的理論蘊含。體認語言學傾向於在人類群體意義上闡發體認的意義，多模態體認詩學則可以關注真實、個體讀者的體認經驗，即關注真實的沉浸於文學作品中的真實讀者，考察他們沉浸於文學自然閱讀過程中的真實體認過程。 這可以通過實證檢驗的手段得以實現。

我們可以從文本表層符號結構和讀者實際體認之間的關聯性角度，闡述多模態文學交流過程中體認的多模態性、交互性、複雜系統性。 讀者在多模態文學閱讀過程中的身體行為、多感官感知體驗及其對認知加工的影響，反映出符號接受方具有「主動而複雜的互動體驗和認知加工潛勢」（Gibbons， 2021：19）。 多模態符號之間的協同互動誘發多模態感官的聯動反應，使多模態體認具有了相當程度的「一體化」特征，正如加桑費爾等（Ghazanfar et Al． 2006： 278） 所論：「我們與世界的交互涉及一系列感官輸入，我們的感知是對世界的一體化表征。 新皮質按照使認知加工過程盡可能快速有效的方式組織起來。」多模態文學中的表征手段豐富多樣，互動方式多元，給習慣於傳統小說閱讀的讀者帶來了很大挑戰，同時也誘發了新奇的閱讀體驗。 多模態形成多感官刺激，使讀者調用多個感覺器官及其處理各自信號的神經認知系統。 在閱讀過程中，隨著多種模態符號形式的鋪展協同，讀者的「多模態感官系統」和「神經認知系統」不斷動態連接，調整變化，從而推動「體」和「認」的多維複雜聯動。 概言之，多模態體認詩學對體認的闡發考察，可以極大豐富體認的內涵，有助於我們從人類話語交際的角度更加全面闡釋和理解符號「體認」的本質和特征。

最後，推動體認語言學和詩學的交叉融合。 雖然從多模態話語交際的角度來說，語言交際和視覺交際是兩種相互獨立的符碼系統，模態或模態組構不同，所激活的認知體驗有所差異，但是從多模態體認觀出發，我們就會發現，事實上在多種符號交際的背後存在某些更深層、更抽象的符碼體認機制，如圖形—背景、概念隱喻、轉喻、概念整合等。 對此，克雷絲等（Ｋress et al．1996：188） 明確指出：「語言的信息結構與視覺中的橫向組織結構極為相近，這一點也印證了存在某種更深層、更抽象的符碼傾向，這些傾向在不同的符號模態中有不同的體現形式而已。」因此，我們不應該把圖像結構與語言結構進行簡單的機械類比，語言和圖像都是心理過程的外在符號表現形式，我們應該探尋其背後共同的心理加工機制（Gibbons，2021： 15）———體認機制。 從話語交際的實際過程來說，符號構成的文本是體認的語境，是唯物性基礎，具有誘發性，誘發交際接受方的身體反應和心理感知。

基於這一認識，多模態體認詩學應該高度重視人的視覺感知（Visual Perception）結構，理解和闡釋人的視覺感知機能（Gordon，1997； Haber et Al． 1973； Posner et al． 1997； Styles，1997），如哪些色彩與尺寸特征吸引感知者的注意力，或事物之間的相似如何使感知者把它們視為一類，視知覺調整如何影響心理的認知加工等（Gibbons，2021：16）。 基於此，通過既具體又綜合的多模態體認分析，體認語言學所闡述的「體認」性分析可以被拓展到多模態話語交際層面，拓展其應用范圍，而多模態文學交流體認的獨特性也可以反過來豐富體認語言學的理論意蘊，在更高維度上推動體認語言學和詩學的交叉融合。

3　結語

作為共同關注後現代哲學和文化思潮的兩大研究領域，體認語言學和多模態認知詩學在理論觀點和應用分析方面存在諸多相同、相通之處，如都強調符號的認知性和社會性，都強調身體體驗與認知加工的互動，都遵循「現實—認知—語言（符號）」原則，闡釋體認性。 多模態認知詩學對多模態文學交流過程中體認的多模態性、交互性、複雜系統性的論述，為體認語言學開辟了一個新視角，豐富了語言體認觀的內涵，拓展了其應用范疇。

本文提出應從拓寬體認語言學的外延、豐富體認語言學的理論蘊含、推動體認語言學和詩學的交叉融合三個方面，構建和推動「多模態體認詩學」研究。 多模態體認詩學研究不但可以從真實讀者體認角度「打破語言和圖像研究之間的藩籬」（Kress et al．1996：183），闡釋多模態文學交流的意義和價值，還可以從更深層的超越具體符碼表征機制的角度，推動體認符號學研究。 本研究從文學和語言學跨學科視野，探討人類符號交際的體認性，有助於在後現代語境下切實推動多領域的互動交流對話，踐行體認語言學的後現代主義哲學觀，推動學術研究更加多元和開放。

（原題：多模態體認詩學—基於體認語言學的研究；作者趙秀鳳&崔亞霄；原載：外國語文 [雙月刊]；2023 年9 月；第39 卷　第5期；82至92頁；作者單位： 中國石油大學 外國語學院，北京10224：9；關鍵詞：多模態認知詩學；體認語言學；多模態文學；體認詩學；參考文獻略，請看原文）

Comment by 陳老頭 on June 16, 2024 at 6:13pm

陳明發（舒靈）1979年的詩〈夜雨〉

雨也有友善的一面
一路和和氣氣送我們
放工回家，才大發雷霆

罵孩子，時候不早了
髒兮兮的還不洗澡
不怕天气涼會感冒
說着點了燈，風中忽暗忽明
水喉開得嗶哩叭啦傾盆大泄

我們坐想雨底两面
從前是雨裏不懂得寒冷
現在，雨外響往温暖

（8.1.1979 發表于八打靈青團運同年會刊）

朵漁詩選·那就是愛

細雨中，小區窗戶的燈光漸次亮起

當他拖著疲憊的身子回到家裡

在她無休止的責備聲中

享用他的晚餐

並不知道

那就是愛。


陳明發評註：關鍵在于一句“并不知道”。朵魚這首〈那就是愛〉，使我想起自己45年前寫的〈夜雨〉。朵魚是中國“下半身”詩派前驅，素以人體器官與生理活動重口味入詩，以呈現肉身在場的境界。這詩派的存在，儀式意義多過文學價值；就像有人說他要步上尼采後塵，却只顧着四處叫喊“上帝已死”，不願在《查拉圖斯特拉如是說》之外，多讀幾本他其餘的著作。這回還是給朵魚記上了幾筆，主要因為他在〈那就是愛〉中所寫的，很接近我1979年那首〈夜雨〉的經驗。人啊，特别是現代城市人，真的是折騰于尼采所說的“永恒輪迴”：下班時段；遇上雨；天色一下子提早暗下来，燈火乍亮；匆匆穿過潮濕的空氣，回到住處，在正需要安頓下来之際，生活的不寧静却發生了......。

寫〈夜雨〉時，我二十歲，未婚。住的地方緊挨簡陋的木屋區，說話聲量大些都聽得清清楚楚，而雨水忽急忽緩，擠壓後的聲音變得很魔幻。

Comment by 陳老頭 on May 28, 2024 at 8:51pm

[火車聲]

包圍著我的，是列車各種運動那令人鎮靜的活動。這各種運動伴著我，如果我沒有睡意。他們會主動過來和我聊聊，它們的聲響像搖籃曲那樣催我入眠。……好像我在一瞬間得以化身為某種魚類在大海中安睡，睡意朦朧中被水流和浪濤蕩來蕩去，或者化成一隻鷹，仰臥在暴風雨這唯一的支柱上。

[旅行：想出各種生活畫面]

由於種種原因，人們為自己設想的圖景是永遠不會成為現實的……人們構想出各種生活畫面，小至在日落中品嚐鱸魚，為此一個深居簡出的人會決心乘一趟火車，大至渴望某天晚上乘坐一輛豪華馬車停在一個高傲的女出納面前讓她大吃一驚，為此一個不擇手段的人會謀財害命，或者巴不得親人死掉好獨吞遺產，這要看他是膽大包天還是懶惰成性，是不達目的決不罷休還是停留在醞釀計劃的第一步，總之，不管構想什麼樣的畫面，為了實現這一畫面所采取的行動——旅行、結婚、犯罪等等，會使我們起深刻的變化，以致我們在自己成為旅客、丈夫、罪犯、孤獨者（後者為獲得榮譽而開始工作，但工作又使她對榮譽的渴望變得淡泊）之前構想的畫面不再重現，我們也許連想都不去想了。再說，縱然我們下定決心不肯徒勞無益，也有可能日落景象未達到預想的效果，或者到那時我們因感到寒冷而寧願在火爐邊喝湯而不想在露天品鱸魚，也可能我們的馬車絲毫未打動女出納的心，她出於別種原因本來對我們十分敬重，而我們陡然擺闊反倒引起了她的猜疑。

[火車鳴笛]

我聽到火車鳴笛的聲音，忽遠忽近，就像林中鳥兒的囀鳴，標明距離的遠近。汽笛聲中，我仿佛看見一片空曠的田野，匆匆的旅人趕往附近的車站；他走過的小路將在他的心頭留下難以磨滅的回憶，因為陌生的環境、不尋常的舉止、不久前的交談，以及在這靜謐之夜仍縈繞在他耳畔的異鄉燈下的話別，還有回家後即將享受到的溫暖，這一切使他心緒激蕩。

[火車站]

火車站幾乎不屬於城市的組成部分，但是包含著城市人格的真諦。這聖拉扎爾車站，在開了膛破了肚的城市高處，展開廣闊無垠而極不和諧的天空，戲劇性的威脅成團成堆地聚集，使天空顯得沉重……在這樣的天空下，只會完成某一可怕而又莊嚴的行動，諸如坐火車動身或豎起十字架。

[適應：醒來之後和人說話]

……說出這些話，而不是我這個處於剛剛醒來狀態的睡眠者正在繼續思考的那些話，這樣做要求我拿出平衡的力量，就像有人從一列行進的火車上跳下來，沿途跑上一段時間，最終得以站穩，沒有跌倒。他奔跑一段時間是因為他離開的是一個高速運轉的環境，與靜止的環境不同，他的腳一時難以適應。

（摘自：《追憶似水年華》[法語：À la recherche du temps perdu，英语：In Search of Lost Time: The Prisoner and the Fugitive]，[法国]馬塞爾·普魯斯特 [Marcel Proust ，1871年—1922年] 的作品，出版時間：1913–1927，共7卷）

Comment by 陳老頭 on May 20, 2024 at 6:17pm

吳青科《詩性空間與體驗危機》

[摘要】文藝的審美表現力某種意義上需要依靠詩性空間來實現。詩性空間對於文藝創作實踐、審美意識形態研究具有的重要意義需要得到重視和挖掘。詩性空間本身的豐富內涵及其與文本特征、主觀體驗之間的互動關係需要更為細致而深刻地理解和闡述。隨著審美觀念的變化，詩性空間的功能意義及其審美體驗出現了不同於以往的普遍現象．呈現出更為隱晦、病態的蛻變危機，從而從本質上深刻影響了當下文藝作品的審美特征。

某種意義上，由行為、特征、場景等構成的文本細節就其本身而言並無特別寓意，但若從主觀創作角度或客觀文本進行考察，往往能從中體驗到特殊而神秘的審美內涵，以有別於主觀性的依托文本傳遞審美意味的方式呈現出獨立的審美的「詩性空間」。從生成的角度來看「詩性空間」可大致分為如下代表性的幾類。

一類是單純的動作、特征，表現為時間短暫、動作單一等，如無意間的一瞥、靜止的觀望、一顆痣、某方面生理缺陷等；一類是封閉而隱秘的空間、行為等，如廁所、幽暗的車庫、浴室、自殺等；一類是持續性的單純行為，如無端地凝視、賞花落淚等。

關於文藝的「詩性空間」的描述、討論在作品中以及批評性文章中倒不陌生。但對其本身所具有的文本審美意義生成功能、情感體驗功能、其他學類的引申功能的詳細論述就比較少了，尤其是集中針對「詩性空問」的封閉式的意義闡釋以及基於此而進行的發散性的意義發掘．本論文的寫作意義即在於對之進行探索性的嘗試分析。（疫情文創）

華語流行歌曲互文性研究的「跨樂」范式
lenggong  Lahad Dato  Tanjung Aru

生產地方符號（惠安美女）

生產地方性·古達樂育學校

詩性空間

Comment by 陳老頭 on May 16, 2024 at 8:50am

地方性：生態符號學的一個基礎概念

[摘要]本文立足於小型文化體系，提出了微觀生態符號學的一個基本概念—— 地方性，將其作為考察地方文化和生態系統的一個基礎單位。由於符號活動的語境性和生命與環境之間密不可分的意義關係，地方性作為生態符號學研究的一個可能起點，具有足夠的理論支撐和高度的可操作性。 並且，這種強調符號主體的地方性、語境性的概念，為解構自然與文化的二元對立將起到重要作用。

[關鍵詞]地方性；語境性；生態符號學；環境；符號主體

 [作者簡介] 蒂莫·馬倫（Timo Maran），愛沙尼亞塔爾圖大學符號學系高級研究員，主要從事生態符號學研究和自然文學研究。

[譯者簡介] 湯 黎（1982—），女，四川內江人，西南民族大學外國語學院講師，主要從事西方文論研究。（四川成都 610041）

一、引言

要研究自然與文化之間的關係，就需要在不同的科學領域內進行討論，因為，沒有一門所謂的純學科可以處理這樣一個豐富的主題。自上世紀60年代始，幾門不同的學科，如生態批評、文化生態學、環境美學、環境哲學等，就開始了對這一問題的探討。這些由文學批評的理論基礎以及藝術哲學理論產生的學科試圖解釋人與自然之間的關係。

此種研究情形可以概括為四個相互交織的方面：理論框架、研究對象、文化語境和自然語境。 我們可以認為，其中的第一項，即理論框架承載了學術認同和科學的歷史遺產，而後三項則有賴於特別的研究對象和地方性的條件。

上述邊界學科的理論背景大多（盡管並非絕對地、獨一地）源於英美學術傳統，由此產生了一個問題：源自一個科學傳統的理論和方法，如何對另一個傳統中的、地方性的材料進行分析呢？

①本文較早的一個版本發表於由弗維·薩拉皮克（Virve Sarapik）、卡迪裡·圖烏爾（Kadri Tuur）和馬里·拉恩裡梅茲（Mari Laanemets）主編的《地方與場所》（Place and Location）的第二卷，題名為《地方性的生態符號學舉出》(Ecosemiotic Basis of Locality)，第 68-80 頁。

例如，在思考愛沙尼亞這個芬蘭-烏戈爾語系的小型文化體時，這就會成為一個問題——我正好來自那裡。 在研究愛沙尼亞的文化與自然關係時，我們很快會發現，許多生態批評的重要概念，如「荒野」、「環境書寫」、甚至「文化」與「自然」，它們本身的對立都不具有操作性。 較之於英國和美國，我們的文化環境、歷史遺產和自然經驗都有所不同。 或許在較大的文化體與較小的文化體之間，以及由這些文化產生的范式之間的最大不同在於它們的普遍程度有所差異。

大型的文化以及由其衍生的大的科學傳統可以自然而然地宣稱自己代表了普遍的經驗和知識，而對於小型文化，學術界總持有這樣的懷疑：它們所取得的知識是否只代表地方性的實踐，或者是否與普遍性相關。此外，對小型文化體而言，自我身份的問題也要重要得多。

（原題：地方性：生態符號學的一個基礎概念① [愛沙尼亞]蒂莫·馬倫文 湯 黎譯，見：鄱陽湖學刊，2014年第三期，37頁—43頁；註①①Kalevi Kull,「Semiotic ecology: Different natures in the semiosphere,」Sign Systems Studies, vol.26, 1998, pp.347-348.）

Comment by 陳老頭 on May 14, 2024 at 7:42am

因此，與尋求共性的「大」的文化相反，源於這樣一個文化的學術傳統的優勢在於，它是以差異為主題的。而且，就小型文化而言，在對象層面和元語言層面描述和驗證其不同與特性的科學概念都尤為寶貴。由於缺乏對地方之軸進行描述和評估的方法，在融合地方文化和全球科學的道路上，全球性就成為最顯而易見的、令人憂心的障礙。 而我們的理論語言對於表現地方的獨特性是否足夠靈敏，這也可能成為阻礙發展對文化與自然之研究的一個問題。 填補這一罅隙的一個方法可能就是，創造出綜合性的理論概念，它可以為描述地方文化指明一些方向， 同時又使這種描述的確切本質保持開放性。

在元層次上，作為描述人與自然環境之間的關係，描述人類在生物系統中的位置以及人類文化中的自然的學科，符號學的興起可算姍姍來遲。 盡管自20世紀90年代起，生態學的符號學研究就在不同的語境中以不同的形式被提出，但作為范式的生態符號學是直到諾特 （Winfred NO ǖth）1996 年的論文發表後才有跡可循的。①在該文中，諾特將生態符號學定義為：研究生命體及其環境之間的關係之符號學方面的科學。 ②

兩年後，庫爾縮小了這個詞的范疇，認為它包含了發生在人類及其所在的環境之間的符號過程， 即「生態符號學可以被定義為自然與文化之間關係的符號學」，③由此將生態符號學與生物符號學區別開來。2000年，在伊馬特拉國際暑期研究所進行的符號學與結構研究，以及幾家符號學期刊的專刊④也見證了這一新范式的產生。 生態符號學最近的發展則包括了在系統生態學⑤、 風景生態學⑥和生態批評⑦之間建立聯系的努力。

①Kalevi Kull,「Semiotic ecology: Different natures in the semiosphere,」Sign Systems Studies, vol.26, 1998, pp.347-348.

 ①Winfred NO ǖth,「Oǖkosemiotik,」Zeitschrift für Semiotik,1996,vol.18, no.1, pp.7-18. 轉引自 Winfred NO ǖth, 「Ecosemiotics,」 Sign Systems Studies, vol.26, 1998, p.333.

 ③Kalevi Kull,「Semiotic ecology: Different natures in the semiosphere.」

 ④Semiotica，127-1/4，1999；Tartu Semiotic Library，vol.3, 2002；Sign System Studies，vol.3, 2002；Zeitschrift für Semiotik，8-3,1986.

 ⑤Soeren Nors Nielsen,「Towards an ecosystem semiotics: Some basic aspects for a new research programme,」Ecological Complexity, vol.4, no.3, 2007: 93-101.

 ⑥Almo Farina, Andrea Belgrano,「The eco-field hypothesis: toward a cognitive landscape,」Landscape Ecology, vol.21, no.1,

 2006, pp.5-17; Almo Farina, 「The landscape as a semiotic interface between organisms and resources,」Biosemiotics, vol.1,  no.1, 2006, pp.75-83.

 ⑦Timo Maran，「Towards an integrated methodology of ecosemiotics: The concept of nature-text,」Sign Systems Studies, 35(1/ 2), 2007, 269-294; Alfred K. Siewers, Strange Beauty，Ecocritical Approaches to Early Medieval Landscape，New York:  Palgrave Macmillan, 2009

接下來，我們將要探問：生態符號學方法的何種知識可以運用於研究人與自然之關係的話語，運用於融合了生態批評、文化生態學、環境美學、科學生態學、環境哲學和其他學科的討論。 本文旨在嘗試一種謹慎的可能：將地方性視為主體及其環境之關係的、一以貫之的特性，並對這一以符號學為基礎的概念提出一個定義。 這裡，我把地方性作為符號結構的一個特征來進行分析，這些符號結構以如此的方式和環境一起出現，以致如果不大大改變結構或是結構所包含的信息， 它們就無法脫離環境。

這一概念源於如下理解：一個符號過程總是包含著特別的、獨有的現象。 在皮爾斯（和西比奧克）的符號學傳統中，文化和自然的絕大部分可以被視為符號過程的結果或者模式，這些符號過程不可避免地將重點放在文化與自然的地方性身份之上。另一方面，地方性的概念強調了環境關係的質性特點。

後文將會提到，主體及其所在的環境之間互為條件性是生命體與人類起源的符號系統的典型特征，並且，我們是從理論生物學和理論符號學——即產生生態符號學的兩門主要學科——的角度來討論這一問題。因此，在這裡提出的方法認為，對生態符號學而言，自然是特征性的，而且，這種方法能夠運用於更廣意義上的，對文化與自然之關係的研究。 在本文的最後部分，我們將會討論在文化認同的塑造中，作為安置的地方性在一個特定的自然環境中所起到的作用。

二、作為生命體特征的地方性

每個生命體都在或多或少的程度上適應於它所在的環境，這一理念是達爾文主義的進化論生物學的主要觀點，屬於生態學的核心部分。但是，在現代進化論生物學中，生命體及其環境仍然是相當抽象的，它是在某種間接的、抽象的指標，比如適應性、適應價值之上被定義的。 如果我們對某一物種的個體行為進行觀察，那麼，作為圍繞真實的生命體、具有特征的媒介，環境可以成為行為研究、自然史研究或是生物學領域其他形式研究的對象。

動物及其環境的適應關係， 可以分為兩個方面：生理上的相應性，如動物的身體構造、生理及其環境之間的一致性； 交流與符號學上的一致性，作為個體的動物在其間對特有的環境進行感知、作出反應。這兩個方面是必然相關的，比如說，像哺乳動物的眼睛構造這樣的生理適應，使得人類能夠以我們的方式來感知風景。 同時，這兩個方面內容也有著明顯的不同： 交流和符號學上的一致性是質性的，並且和個體的解釋與發展相關。 只要我們將生命體作為主體來進行檢視，允許它有某種解釋和選擇的自由，生命體及其環境之間的關係就會是特別的、獨一無二的。 生物符號學的主要締造者烏克斯庫爾（Jakob von UexKüll）對這一主體性的現象學觀點進行了很好的闡述：

動物的身體可以被比作一所房子， 以此來進行研究， 解剖學家一直詳細地研究它是如何被建造的； 生理學家則研究房子裡的機械應用；而生態學家描述和研究的，是這個房子所在的花園。

• ‹ Previous
• 1
• 2
• 3
• 4
• 5
• 6
• …
• 12
• Next ›
• Page