Comment

Comment by 就是冷門 on June 24, 2024 at 5:42am

【變化】

有些晴天，寒意襲人，街上的聲音異常清晰地傳到耳際，與我之間的溝通顯得那麼暢達，仿佛房子四周的牆壁都給拆了似的，每逢電車駛過，它那叮叮噹噹的鈴聲就宛如一把銀刀在敲擊玻璃的房子。更美妙的，是我在心裡聽到的那把潛在的小提琴奏出的令人陶醉的新的旋律。隨著溫度和外界光線的變化，琴弦變得時而緊張，時而放鬆。在我們體內，這潛在的樂器在日復一日單調劃一的生活節奏中保持著沉默，讓它奏出如歌旋律的正是差異和變化音樂的那個源泉：有些日子裡，天氣的變化會使我們即刻從一種音樂氛圍轉換到另一種氛圍。我們會回憶起一支久已忘懷的曲調，歌的旋律會以數學般的精確浮現在記憶中，甚至都來不及去辨認這到底是哪支歌，便會信口唱了出來。唯有這些內在的變化（盡管它們也是受外界影響產生的），才會引起我對外部世界印象的改變。腦海中那扇久久關閉的交流溝通之門開啟了。小城生活的片段、歡娛郊游的場景，都在意識中浮現出來了。隨著琴弦的顫動，我全身都震顫起來，我相信，為了能再有一次如此奇妙的體驗，我會願意付出業已逝去和行將到來的全部生命作為代價——這些生命所留下的痕跡，早晚是要給習慣這塊橡皮拂拭殆盡的。

（摘自：《追憶似水年華》[法語：À la recherche du temps perdu，英语：In Search of Lost Time: The Prisoner and the Fugitive]，[法国]馬塞爾·普魯斯特 [Marcel Proust ，1871年—1922年] 的作品，出版時間：1913–1927，共7卷）

Comment by 就是冷門 on June 22, 2024 at 11:22am

趙秀鳳·崔亞霄：多模態體認詩學—基於體認語言學的研究

摘要：本文把多模態文學的認知研究置於體認語言學理論視域，考察多模態文學交流的體認性特征，提出構建和推動「多模態體認詩學」的研究設想。 多模態文學的認知研究結合具體文學作品揭示了多模態文學交流過程的多維體認特征。一方面，多模態文學符號也與語言符號一樣，具有認知性、社會性和文化性，其交流過程也涉及身體體驗和認知加工的循環互動；另一方面，多模態文學交流過程中的體認特征也體現出一定的獨特性，即體認的多模態性、多維交互性和複雜系統性。 為此，本文提出應從拓寬體認語言學的外延、豐富體認語言學的理論蘊含、推動體認語言學和詩學的交叉融合三個方面，推動「多模態體認詩學」研究。 本研究從文學和語言學跨學科視野，探討人類符號交際的體認性，有助於在後現代語境下切實推動多領域的互動交流對話，踐行體認語言學的後現代主義哲學觀，推動學術研究的開放多元。

近年來，在歐美興起了一種新的文學研究動向———多模態認知詩學研究，從認知的角度考察多種模態協同表征的文學的交流過程和效果。 這一研究動向由以英國謝菲爾德大學艾莉森·吉本斯（Alison Gibbons）為代表的一批學者推動，他們把研究對象從純文字小說拓展到運用多種模態符號創作的各類文學如後現代實驗文學（Page，2009；Gibbons，2012；Caracciolo，2014：）。 該研究動向關注語言和非語言符號協同構成的多模態實驗文學對讀者認知體驗和接受產生的影響，反過來，也考察讀者的認知體驗對後現代實驗文學創作發揮的制約性作用，即關注多模態文學與讀者之間的互動體驗。

多種模態符號協同互動所創建的文學作品對讀者的常規閱讀圖式，包括感知體驗、認知解讀、理解和情感反應，都帶來了新的改變或挑戰，其突出特點就是後現代多模態文學高度彰顯文學作品自身的物質性、互文指涉、排版的新奇性等，對讀者在文學體驗過程中的涉身參與提出了新要求。

不同於傳統純文字小說，多模態小說不但需要讀者想象性參與虛構小說故事世界，而且需要切實調動身體器官實施相應行為，需要不斷在小說創建的文本世界和作者及讀者所在的話語世界之間穿插切換，這種新型文學交流得以順暢進行的前提正是多模態符號的體認性。

正是基於對後現代實驗文學多模態交互體認特征的認識，吉本斯於2012年出版了《多模態認知詩學和實驗文學》（Multimodality， Cognition， And Experimental Literature）一書，整合認知語言學、神經認知科學、視覺感知、多模態符號學等多領域研究成果，強調沿用廣義認知原則，如多感官感知原則、涉身體驗原則等，探究多模態敘事對讀者敘事體驗和情感反應的影響。 在該書中，吉本斯以四部後現代實驗小說為例，詳細闡述了讀者的閱讀感知體驗。 之後，吉本斯沿用這一研究路徑，發表了系列研究成果（Brayetal 2012； Gibbons，2016； Gibbons，2021），使多模態認知詩學成為文學認知研究領域的後起之秀。

縱觀已有的多模態認知詩學研究，筆者發現無論其理論闡述還是應用實踐都與王寅（2014：）提出的「體認語言學」（Embodied-Cognitive Linguistics，簡稱：ECL）的核心觀點不謀而合。 本文意在基於體認語言學的理論視域，梳理並考察多模態認知詩學闡述的多模態體認觀，加強兩個不同研究領域之間的互動，進一步推動文學和語言學研究在「後現代哲學」語境下的「同堂對話」 （賈娟 等，2020： 32），豐富「體認」內涵，拓展體認語言學的應用范疇，推動構建「多模態體認詩學」。

另一方面來看，體認語言學（王寅，2014：）無論是在理論建構，還是個案分析及應用方面，都得到了蓬勃發展。 體認語言學對語言的各個層面都展示出了強大的闡釋力，如轉喻（魏在江，2019）、指類句（雷卿，2019）、兼語構式 （劉雲飛，2019）、名謂句 （帖伊 等，2019）、虛擬位移 （張克定，2020）、歇後語（王寅，2020） 等。 筆者認為，體認語言學不但精確概括了語言的本質，其基本觀點和核心原則對其他社會符號也有強大的闡釋力。 例如，在特定社會文化語境中，人們用於社會交往的各類手勢、視覺符號乃至聲音，更是在人與現實世界體驗互動和認知加工過程中形成的，兼具認知性和社會性。 之所以能夠進入社會交際，正是因為這類對複雜現實進行簡約性表征的非語言符號也是「來自人與人、人與自然的互動，來自人對這些互動的體驗和認知加工」 （牛保義，2021：28）。

正是在這層意義上，我們贊同王銘鈺等（2021）的主張，應把體認語言學上升為「體認符號學」，有必要結合多種符號組合和應用實例，闡述「體認」在更廣泛符號層面的普遍意義和價值。

基於以上考慮，本文試圖結合已有研究，從多模態文學交流的體認特征入手，闡述借鑑體認語言學的核心理論和方法，針對多模態文學的語類特征，推動「多模態體認詩學」研究。

1.多模態文學交流的體認特征

1.1 體認的多模態性

王寅（2014）在認知語言學涉身體驗基礎上，結合中國傳統哲學和後現代哲學的基本立場，提出了語言意義的「體認觀」，將其哲學立場命名為「體認哲學」，強調「人本性」和「唯物論」的辯證統一。

體認觀一方面堅持了喬姆斯基和認知語言學從人的心智角度研究語言的基本取向 （王銘玉等，2021： 2），另一方面又與後現代哲學的人本主義立場一脈相承，突出強調語言和語言研究中的人本性（賈娟等，2020：33），主張語言研究必須強調人對現實世界進行的體驗（王寅，2014： 61⁃67） ，因此，體認哲學觀更加全面綜合，更接近人類語言交際的現實。

（原題：多模態體認詩學—基於體認語言學的研究；作者趙秀鳳&崔亞霄；原載：外國語文 [雙月刊]；2023 年9 月；第39 卷　第5期；82至92頁；作者單位： 中國石油大學 外國語學院，北京10224：9；關鍵詞：多模態認知詩學；體認語言學；多模態文學；體認詩學；參考文獻略，請看原文）

Comment by 就是冷門 on June 21, 2024 at 12:22pm

(續上)「體認的人本觀決定體認的多模態本質。」（黃萍等，2021:118）正如顧曰國（2013:3 ）所言：「人類在正常情況下跟外部世界（包括人與人之間） 的互動都是多模態的。」由視覺、聽覺、觸覺、嗅覺、味覺組成的多模態感官系統參與到人體察世界的過程中，形成人與世界的多模態互動體驗，經由認知系統的認知加工，形成理性認識（顧曰國，2015）。

這一過程說明體認本身蘊含多模態性，體認是多模態感官系統和認知系統互動的產物。 有學者指出：「語言的產生和使用是基於『多模態感官系統』的『互動體驗』與基於『認知系統』的『認知加工』進行互動的結果。」（黃萍 等，2021:118）事實上，多模態互動體認不限於語言的產生和使用，而是體現於人類話語交際的全過程。 在實際的話語交際過程中，交際雙方往往是多感官協同參與，並不斷互動。 多模態感官的協同聯動不但刺激產生互動感知體驗，而且誘發對意義的認知加工升華。

人類交際過程的「多模態」性，不僅體現於面對面交際中的身體姿勢、手勢、聲音、語調、表情，還體現在書面交際中的字體、排版、顏色、物質性媒介等多模態特征。 也就是說，在實際交際過程中，多模態既是人類用於交際的符號手段，又是人類多種感官協同參與的體認通道。 正是基於這一認識，我們認為有必要探討多模態交際的體認性特征，豐富體認語言學的理論體系，拓展其應用范疇。

在這一方面，多模態認知詩學先行一步，結合後現代實驗文學的多模態特征，進行了開創性研究。 吉本斯運用認知－敘事學研究路徑（Cognitive⁃narratological Approach），不但把模態視為表意資源，還把不同表意系統所誘發的多感官感知、體驗和認知方式納入研究視野，她所建構的多模態認知詩學綜合性分析框架旨在剖析闡釋多模態文學交流的體認過程。 當然，多模態體認過程研究的前提是認知詩學的基本主張———文學是「人類經驗的一種具體形式」（Gavinsetal，2003：1），「文學研究可向我們揭示認知實踐，借此我們不但可以閱讀文學作品，還可以感知和理解世界」 （Gibbons，2021：26）。 多模態認知詩學認為「人們不僅通過語言，而且也通過視覺、聽覺和心理等其他方式接觸世界」 （Gibbons， 2021：38），因此，多模態認知詩學把研究焦點確定為讀者對多模態進行理解和體驗的複雜動態過程，並運用科學的方法對該過程進行動態描述。

多模態文學傾向於突出符號的物質性和意義理解的多模態性，往往通過調動讀者的身體參與，誘發和強化心理體驗。 因此，多模態文學的認知研究高度關注讀者在字體、排版、圖像形狀、顏色、佈局等視覺因素的刺激或操控下作出的行為反應或注意力變化。 如吉本斯（Gibbons，2021：4：5） 運用圖形－背景理論，解釋眼睛如何在一個視域內部或跨視域之間移動。 「在閱讀視覺語篇時，意義的理解尤其需要閱讀路徑的動態調整」（Gibbons，2021：25），眼睛在閱讀文本中的移動路徑是在視覺結構誘發下人所做出的主體性反應，如圖1（見下頁）。

讀者在閱讀到該頁時，會主動做出選擇，調整閱讀路徑。 在《書頁之屋》這一多模態小說中，有很多類似的視覺操控手段，調動和激發讀者的閱讀行為，讀者需要根據對故事世界的理解自動調整閱讀順序，甚至需要手動調整書頁的方向，這類設計突出了圖書作為閱讀對象的物理屬性，賦予讀者更多自主性，可以自行選擇閱讀順序和路徑。 這種在物理行為上的「身體」介入，往往會誘發讀者心理上的自我投射（Projection）、自我暗示（self-implication）、情感或認知反應（emotional response）（Gibbons， 2021： 27），從而直接影響讀者對故事世界的體驗和認知。 再如，在托馬蘇拉（Tomasｕia）小說《Vas： 平地上的歌劇》（VAS： An Opera in Fiatland： A Novel，文後簡稱：VAS）中，作者通過排版設計等視覺化手段使符號的物質性被高度前景化，調動讀者的身體器官實施相應行為（趙秀鳳，2021： xiii），如翻頁、調整書本方向、調控閱讀視角等行為反應。 由此，讀者直接參與敘事進程，從而「高度彰顯了讀者在文本體驗過程中的涉身參與性」「強化閱讀、存在、認知和想象等過程的涉身本質」 （趙秀鳳，2021： xiii）。

圖1　《書頁之屋》（Daniele Wski，2000:133）節選

多模態小說VAS中的主題隱喻是運用多模態符號調動多感官參與，彰顯動態性體認的典型實例。 該部小說以多種方式反復建構和表征一個主題隱喻［人類是書籍］。 一方面，這一隱喻體現為故事內聚焦人物感知覺的語言表達。 如主人公「四邊形」（小說中主人公的名字）把手術視為「對自己身體的改寫」（Tomasula， 2002： 193） 和「一次簡單的編輯」 （Tomasula， 2002: 312），以下段落更清晰地表征了人物感知和認知域中的［人體—書籍隱喻］：

四邊形（小說內主人公的名字）停下了筆，看了看指尖的渦紋，這些由線構成的巧妙圖像是祖祖輩輩，世世代代，甚至是經過125，000 代追溯到類人猿時期傳承下來的，它可以由AGCT四個基本字母來表示，這四個字母又可以構成單詞GAT、ATA、AGG，然後這些單詞構成了基因的雙螺旋句子，進而填充細胞內染色體，最後由這些細胞構成軀體這本書。 （Tomasula，2002:312；吉本斯，2021:80）

該段中關於身體的醫學術語「雙螺旋、基因、染色體、細胞」與關於書籍／寫作的常用詞語「句子、文章、書籍」整合編織在一起，最後直接用「軀體這本書」更加顯性表征［書籍—身體隱喻］。 另一方面，該書還刻意創建物理相似性，激活讀者的視知覺感知，親身體會「書籍」域與「身體域」的整合：封面主色調為桃紅色，數條藍灰色橫線隱約穿插而過，隱喻皮膚及皮下靜脈；書頁以肉色為主，其中的文本和圖片漸變為紅色、黑色和米黃色，使整本書的視覺構造仿佛人的軀體，隨著讀者閱讀的深入（即人的年齡的增大），皮膚日漸失去光澤，佈滿皺紋。(下續)

Comment by 就是冷門 on June 20, 2024 at 6:58pm

在文字和視覺模態的協同作用下，讀者「多模態器官」體驗且認識到身體與書籍之間不僅是概念上的跨域映射關係，也是自己身體和心理互動體驗下的「合二為一」。 這一實例完美地揭示了多模態文學對多模態體認的「前景化」調用，突出了體認的多模態性。

1·2 體認的交互性

體認語言學在闡述其核心原則「現實—認知—語言」時，格外強調體認的「互動性」：一是人通過對外部現實世界（包括自然、社會、文化等）直接感性接觸所產生的互動體驗，二是人在外界感性接觸基礎上進行的認知加工。 從「體的互動體驗」到「認的認知加工」，再返回到體驗，循環升華 （王寅，2020: 22）。 從語言的產生、語言的發展到語言的習得都是以人的體認為基礎的（林正軍 等，2021），「現實」「認知」和「語言」之間的互動推動了語言的產生和使用。 體認語言學在闡釋各類語言現象時所使用的理論工具，如概念隱喻、認知參照點、意象圖式、理想認知模型、識解等都是圍繞人與世界的互動展開的理論闡述，都強調人與人、人與自然互動過程中身體感知覺體驗的規律性特征對於語言符號的產生、表達和理解的作用。 例如，王寅（2020）結合大量實例，闡述了隱藏在歇後語背後統一的體認型式：歇後語的前項描寫人較為直觀的感性生活體驗，後項揭示由該體驗所引發的認識，「反映了人們從『感性到理性』，從『具體到抽象』，從『外延到內涵』，從『參照點到目標』，從『明示到推理』，從『背景到圖形』，從『表層到深層』（由表及裡）的體認過程」 （王寅，2020:2）。

體認語言學關於互動性的論述主要闡釋語言產生和使用的規律性特征。 其實，體認的互動性理論能更充分地闡釋讀者在閱讀多模態文學過程中的身心交互特征，如多模態小說VAS中第139頁末端的文字為（「Still, it moves」）在排版上顛倒了文字的方向（圖2）。

圖2　VAS（Tomasula， 2002： 139）節選

要識讀這些文字，讀者必須把書旋轉過來。 這種設計配合該部分表達的主題———宇宙的本質一直處於運動之中，呼應該句「一直在動」的語義，因為讀者必須做出翻轉書本的身體行為，才能讀到「一直在動」這句話。 在該情況下，讀者的身體機能與語言對行為的觸發雙向互動，「執行一個動作有助於理解包含行為動詞的修辭短語和文學短語」（Gibbs，2005：88）。 因此，讀者翻動圖書的身體動作同時啟動了「移動／運動」這一概念，使讀者得以身心協同體驗「移動／運動」，加深對「一直在動」這句話的理解。 此外，該頁配有眾多箭頭和線條組織成的旋轉圖像，視覺、行為動作、感知和文字理解多路徑協同，創造關於宇宙旋轉移動的感性體驗和理性認知。

關於身心體認及其與世界的互動，認知科學家萊德曼（Lederman） 和克萊茨 （Kiatzy）曾指出：

「人們使用觸覺系統來感知真實物體和虛擬物體同時存在的世界，並與其進行互動。」（2001：71）同樣，馬克斯（Marks，2002：2）也指出：「我們正是通過協同觸覺、動覺和本體感受，才同時在閱讀書籍的過程中獲得身體感知和內心體驗。」從這一意義來說，通過調動讀者的身體與書本在實體意義上的直接接觸，VAS成功激活並強化了讀者的交互性體認。 體認的交互性還體現為讀者與人物之間的「協同共振」。 與常規文字小說不同，多模態小說往往借助多模態符號，頻繁調動讀者對故事世界的身體參與，這一點在敘述人物行為動作時，表現得尤為突出。 例如，在《書頁之屋》第4：0⁃：4：1頁，作者通過排版（見圖3）設計出如具象詩般的文字，描述人物戴維森（Davison）攀爬探險的行為過程：

圖3《書頁之屋》（DanieleWski，2000： 4：00） 節選

戴維森步伐緩慢，但是十分堅定，雙手交互爬行上了梯子……他仍然繼續攀爬，最終他的堅持不懈有了回報，爬行了大概半個小時後，他終於爬完了梯子的最後一根。 幾秒鐘過後，他站在一個非常……（DanieleWski， 2000： 4：00；吉本斯，2021：58）

顯然，這段文字被排列為一個梯子的形狀，從底部一行開始，每個橫檔錯落排開，在空白周邊的映襯下，深黑色字體形成的橫檔越發突顯，如同一架梯子斜依在牆上。 文字的排列順序和空間擺放方式，決定了讀者的閱讀方向和順序：自下而上，從左到右，這一順序與人物的攀爬動作一致———從低到高。 可以說，讀者在視覺符號的引導下，眼睛緊隨人物攀爬的動作，拾級而上，與人物「亦步亦趨」，一起「攀爬」。 梯子橫檔一級級向上，迫使眼睛不時穿過空白處，形成視覺跳躍（Gibbons，2021：60）。 眼睛發揮「動能閉合」（Kinetic occiusion）作用，戴維森「不斷換手」攀爬梯子。 從側面來看，當他在前面的那只手抓到高一級橫檔時，後面的手便跟著向前，這個動作類似於眼睛的動能閉合———讀完一段文字後，空白處便進入眼簾。 該例同時充分體現了兩類互動：讀者的身心互動及讀者與人物的協同共振。 當然，這種雙維互動的前提是多模態符號對讀者體認感知的誘發性潛勢。 從一般抽象意義來說，是不同模態之間的符號互動激發了讀者的身心互動及讀者與人物的互動。

正如吉布斯（Gibbons，2005： 66⁃67）所言：「認知是身體與物理／文化世界互動的產物。 思維並不是存在於人的身體內部，而是存在於大腦、身體、世界……交織形成的網絡。 『涉身』就是指大腦、身體和物理／文化環境之間的動態交互。」約翰遜（Johnson，1987：5）也指出：「我們所認識的現實由以下因素所塑造：身體運動型式、時空定位軌跡、我們與物體的互動形式；它絕不僅僅是抽象的概念和命題判斷。」為此，吉本斯（Gibbons，2021：4：2） 強調：「既然涉身是人類理解和體驗的奠基之本，那麼我們似乎可以做出這樣的邏輯推演：身體在閱讀中的參與度越多，閱讀就越有意義，影響就越深遠。」（下續）

Comment by 就是冷門 on June 20, 2024 at 6:20am

以上實例分析表明，多模態文學語篇充分運用多種模態符號，調動讀者的多維交互體驗，無論是人與符號資源在物理意義上的本體互動，還是文本內多種模態符號之間互動所引發的讀者在身體感知和心理認識之間的互動，都反映了多模態符號對讀者整體體認過程的影響。

1·3　體認的複雜系統性

從複雜動態系統理論視角來看（Complex Dynamic Systems，簡稱：CDS），在多模態文學的交流過程中，讀者的體認也呈現出複雜動態系統性特征。根據CDS理論，複雜系統具有以下突出特征：「複雜性，即構成元素和施動體豐富多樣、互動方式多元；動態性，即構成元素與施動體始終變化，互動方式亦始終在變；開放性，即新元素和施動體隨時可進入系統；非線性，即系統的整體變化不可預測，無法以變量分析法找到規律；此外，系統可具自發組織性和共適性，有時體現為相對穩定的狀態。」（單理揚，2019：94）

就多模態文學交流而言，一方面，讀者的體認具有多模態感官聯動性，另一方面，多模態文學的構成要素豐富多樣，這些都對多模態文學的理解體認過程產生直接影響，使體認本身成為一種複雜的動態系統，呈現出複雜系統的一般特征。首先，多模態文學交流的對象，文學作品本身就是一個由多個子模態符號系統構成的複雜系統，如後現代實驗小說系統往往包含圖像、圖形、頁面設計、空間佈局、字體、顏色、詞匯、語法、篇章結構、文學常規等等多個子系統。 多模態小說尤其是後現代實驗文學達到了高度的形式自覺，大量運用元小說和互文指涉手段、彰顯實體性、創新文本排版形式等。 吉本斯（Gibbons， 2021： 2） 把這種形式自覺在符號上的主要體現概括為以下八類：存在明顯的文本佈局和頁面設計；排印方式多樣，在文字和圖像中運用色彩；類似於具象詩，把文本文字具象化；使用包括元小說寫作在內的多種手段；吸引讀者關注文本的物質屬性；使用腳注和其他形式傳遞自我質疑；使用翻頁書技巧設計部分章節；混合使用多種文學樣類，包括文學創作風格上的混搭，如恐怖，也包括視覺效果的混搭，如剪報和劇本對白。 每個子系統之間相互聯系，相互制約，表征和建構小說世界，創建文學意義。

其次，讀者個體也可以看作一個高度複雜的動態系統，對多模態符號的閱讀理解過程本身也受個體、社會、認知、文化和環境等多因素的影響。 如在識讀魯賓（Robin） 的花瓶圖像（圖4：）時，某人可能第一眼傾向於解讀為「看到了一個置於白色背景的黑色花瓶」，而另一個人則解讀為「黑色背景下的兩張白色面孔」；「圖像閱讀並沒有線性結構的強制要求，即讀者具有主體性選擇，當然即使有個體差異，在特定社會文化群體中，也一定有規律性體驗閱讀路徑」（Gibbons，2021：14：）。 因此，他們又都可以在這兩種解讀之間任意切換，體現了讀者體驗的個體性差異。
圖4：　魯賓的花瓶圖像（吉本斯，2021：35，源自 Rubin， 1958／1915：201）

多模態文學交流是一個多要素相互作用的系統，文學構成要素和認知主體要素的多樣性和動態變化性，使文學意義的理解和體悟過程本身也呈現出複雜動態系統特征，多模態符號系統內部諸要素與讀者的多模態感官系統及認知系統之間存在「競爭、互補、對立和適應等多種交錯疊加的互動關係」（曾小燕，2017：35）。

在真實交際活動中，體認的複雜動態性既體現於讀者與文學作品及其環境之間的互動，又存在於讀者個體多種素質和能力的互動，多維互動在多模態文學符號的誘發下呈現出高度的動態性和自組織性。例如，當讀者翻開多模態小說《書頁之屋》，讀到的開篇之句是「This is not For you」（這不是為你寫的）（Daniele Wski， 2000： ix）。 該句的否定語法結構 「not」和指向故事外讀者的第二人稱代詞「you」，都令讀者感到某種「不適」，該句似乎在實施一種禁止性言語行為，阻止讀者進入小說世界。 這顯然違背小說常規，與讀者固有閱讀體驗及打開小說的閱讀衝動和欲望之間形成直接衝突，令讀者感到「認知失調」（Cognitive dissonance）。 事實上，作者是「希望借此激將法誘使讀者深入閱讀」（Gibbons， 2021： 51）。 「失調給人帶來心理不適感，會促使人們努力減少不適，達到協調。」（Festinger， 1957： 3）當人們的行為和認知發生衝突時，內心急求緩解這種失調的願望便會異常強烈（Gibbons， 2021：53），因此，讀到這句阻止性否定句後，讀者反而往往會做出「認知對抗」（Cognitive reactance）反應，即產生強烈的反抗心理，就會反其道而行之。 可見，常規、語言、讀者的閱讀欲望、心理預期及其個體心理調整適應等多要素聯動，相互作用與制衡。 該句的閱讀理解過程——從體會到符號意義表層上的被排斥，經認知對抗，做出逆反性繼續閱讀行為——充分體現了體認的動態性、複雜性和自組織性，是多種子系統連接互動的結果。此外，該句單獨構成一頁，位於按照常規應該是獻詞頁的位置，這一空間位置本身又形成了激活文學常規的符號要素，與文學作品的語類結構及其相應的閱讀常規圖式形成聯動關係，直接影響閱讀個體的體驗和認知，以及隨之產生的對抗認知反應。

2　走向多模態體認詩學

綜上所述，「多模態體認觀」拓寬了「語言體認觀」的適用視域。 多模態文學實例表明，語言符號具有認知性、社會性和文化性，多模態符號更是如此；多模態符號的協同、組合、應用更涉及身體體驗和認知加工的循環互動。 多模態文學交流也遵循「現實—認知—符號」這一核心原則，也大量啟用圖形－背景、意象圖式、概念隱喻等體認機制。 因此，我們可以說，體認語言學理論為我們闡釋多模態文學的交流過程提供了強有力的理論工具。 我們可以通過拓展體認語言學的應用范疇，從多模態符號的體認性出發，闡釋讀者與文學作品之間的互動體驗，推動「多模態體認詩學」研究。 筆者

認為可以從以下三個方面展開：

首先，拓寬體認語言學的外延。 體認語言學側重從語言生產角度論述體認的作用，闡述「現實—認知—符號」三者之間的關係。 作為揭示語言人本性的體認語言學，理應從語言產生的一般規律出發探討本源問題，但事實上人類用於交際的所有符號都具有體認性特征。(下續)

Comment by 就是冷門 on June 19, 2024 at 9:43pm

(續上) 21世紀起的後現代實驗文學，充分利用各類圖文符號，激活人的感知體驗、情感和認知加工；這類文學的日漸興盛也充分說明了多模態符號體認性對文學的影響。 因此，我們有必要拓寬體認語言學的外延，從廣義的符號層面，考察體認的過程；如針對後現代實驗文學的多模態組合特征，闡釋該類文學得以產生、接受、形成獨特文學樣類背後的體認機制；通過透視讀者的閱讀體驗和認知加工過程，揭示多模態文學交流背後的規律性特征。這一「多模態體認詩學」的研究路徑是對語言及其他符號體認性的有力補充，有助於更加全面立體考察語言及多模態符號交際全過程中的體認性，揭示符號的人本性、唯物性和互動性本質。

其次，豐富體認語言學的理論蘊含。體認語言學傾向於在人類群體意義上闡發體認的意義，多模態體認詩學則可以關注真實、個體讀者的體認經驗，即關注真實的沉浸於文學作品中的真實讀者，考察他們沉浸於文學自然閱讀過程中的真實體認過程。 這可以通過實證檢驗的手段得以實現。

我們可以從文本表層符號結構和讀者實際體認之間的關聯性角度，闡述多模態文學交流過程中體認的多模態性、交互性、複雜系統性。 讀者在多模態文學閱讀過程中的身體行為、多感官感知體驗及其對認知加工的影響，反映出符號接受方具有「主動而複雜的互動體驗和認知加工潛勢」（Gibbons， 2021：19）。 多模態符號之間的協同互動誘發多模態感官的聯動反應，使多模態體認具有了相當程度的「一體化」特征，正如加桑費爾等（Ghazanfar et Al． 2006： 278） 所論：「我們與世界的交互涉及一系列感官輸入，我們的感知是對世界的一體化表征。 新皮質按照使認知加工過程盡可能快速有效的方式組織起來。」多模態文學中的表征手段豐富多樣，互動方式多元，給習慣於傳統小說閱讀的讀者帶來了很大挑戰，同時也誘發了新奇的閱讀體驗。 多模態形成多感官刺激，使讀者調用多個感覺器官及其處理各自信號的神經認知系統。 在閱讀過程中，隨著多種模態符號形式的鋪展協同，讀者的「多模態感官系統」和「神經認知系統」不斷動態連接，調整變化，從而推動「體」和「認」的多維複雜聯動。 概言之，多模態體認詩學對體認的闡發考察，可以極大豐富體認的內涵，有助於我們從人類話語交際的角度更加全面闡釋和理解符號「體認」的本質和特征。

最後，推動體認語言學和詩學的交叉融合。 雖然從多模態話語交際的角度來說，語言交際和視覺交際是兩種相互獨立的符碼系統，模態或模態組構不同，所激活的認知體驗有所差異，但是從多模態體認觀出發，我們就會發現，事實上在多種符號交際的背後存在某些更深層、更抽象的符碼體認機制，如圖形—背景、概念隱喻、轉喻、概念整合等。 對此，克雷絲等（Ｋress et al．1996：188） 明確指出：「語言的信息結構與視覺中的橫向組織結構極為相近，這一點也印證了存在某種更深層、更抽象的符碼傾向，這些傾向在不同的符號模態中有不同的體現形式而已。」因此，我們不應該把圖像結構與語言結構進行簡單的機械類比，語言和圖像都是心理過程的外在符號表現形式，我們應該探尋其背後共同的心理加工機制（Gibbons，2021： 15）———體認機制。 從話語交際的實際過程來說，符號構成的文本是體認的語境，是唯物性基礎，具有誘發性，誘發交際接受方的身體反應和心理感知。

基於這一認識，多模態體認詩學應該高度重視人的視覺感知（Visual Perception）結構，理解和闡釋人的視覺感知機能（Gordon，1997； Haber et Al． 1973； Posner et al． 1997； Styles，1997），如哪些色彩與尺寸特征吸引感知者的注意力，或事物之間的相似如何使感知者把它們視為一類，視知覺調整如何影響心理的認知加工等（Gibbons，2021：16）。 基於此，通過既具體又綜合的多模態體認分析，體認語言學所闡述的「體認」性分析可以被拓展到多模態話語交際層面，拓展其應用范圍，而多模態文學交流體認的獨特性也可以反過來豐富體認語言學的理論意蘊，在更高維度上推動體認語言學和詩學的交叉融合。

3　結語

作為共同關注後現代哲學和文化思潮的兩大研究領域，體認語言學和多模態認知詩學在理論觀點和應用分析方面存在諸多相同、相通之處，如都強調符號的認知性和社會性，都強調身體體驗與認知加工的互動，都遵循「現實—認知—語言（符號）」原則，闡釋體認性。 多模態認知詩學對多模態文學交流過程中體認的多模態性、交互性、複雜系統性的論述，為體認語言學開辟了一個新視角，豐富了語言體認觀的內涵，拓展了其應用范疇。

本文提出應從拓寬體認語言學的外延、豐富體認語言學的理論蘊含、推動體認語言學和詩學的交叉融合三個方面，構建和推動「多模態體認詩學」研究。 多模態體認詩學研究不但可以從真實讀者體認角度「打破語言和圖像研究之間的藩籬」（Kress et al．1996：183），闡釋多模態文學交流的意義和價值，還可以從更深層的超越具體符碼表征機制的角度，推動體認符號學研究。 本研究從文學和語言學跨學科視野，探討人類符號交際的體認性，有助於在後現代語境下切實推動多領域的互動交流對話，踐行體認語言學的後現代主義哲學觀，推動學術研究更加多元和開放。

（原題：多模態體認詩學—基於體認語言學的研究；作者趙秀鳳&崔亞霄；原載：外國語文 [雙月刊]；2023 年9 月；第39 卷　第5期；82至92頁；作者單位： 中國石油大學 外國語學院，北京10224：9；關鍵詞：多模態認知詩學；體認語言學；多模態文學；體認詩學；參考文獻略，請看原文）

Comment by 就是冷門 on May 28, 2024 at 9:09pm

[火車聲]

包圍著我的，是列車各種運動那令人鎮靜的活動。這各種運動伴著我，如果我沒有睡意。他們會主動過來和我聊聊，它們的聲響像搖籃曲那樣催我入眠。……好像我在一瞬間得以化身為某種魚類在大海中安睡，睡意朦朧中被水流和浪濤蕩來蕩去，或者化成一隻鷹，仰臥在暴風雨這唯一的支柱上。

[旅行：想出各種生活畫面]

由於種種原因，人們為自己設想的圖景是永遠不會成為現實的……人們構想出各種生活畫面，小至在日落中品嚐鱸魚，為此一個深居簡出的人會決心乘一趟火車，大至渴望某天晚上乘坐一輛豪華馬車停在一個高傲的女出納面前讓她大吃一驚，為此一個不擇手段的人會謀財害命，或者巴不得親人死掉好獨吞遺產，這要看他是膽大包天還是懶惰成性，是不達目的決不罷休還是停留在醞釀計劃的第一步，總之，不管構想什麼樣的畫面，為了實現這一畫面所采取的行動——旅行、結婚、犯罪等等，會使我們起深刻的變化，以致我們在自己成為旅客、丈夫、罪犯、孤獨者（後者為獲得榮譽而開始工作，但工作又使她對榮譽的渴望變得淡泊）之前構想的畫面不再重現，我們也許連想都不去想了。再說，縱然我們下定決心不肯徒勞無益，也有可能日落景象未達到預想的效果，或者到那時我們因感到寒冷而寧願在火爐邊喝湯而不想在露天品鱸魚，也可能我們的馬車絲毫未打動女出納的心，她出於別種原因本來對我們十分敬重，而我們陡然擺闊反倒引起了她的猜疑。

[火車鳴笛]

我聽到火車鳴笛的聲音，忽遠忽近，就像林中鳥兒的囀鳴，標明距離的遠近。汽笛聲中，我仿佛看見一片空曠的田野，匆匆的旅人趕往附近的車站；他走過的小路將在他的心頭留下難以磨滅的回憶，因為陌生的環境、不尋常的舉止、不久前的交談，以及在這靜謐之夜仍縈繞在他耳畔的異鄉燈下的話別，還有回家後即將享受到的溫暖，這一切使他心緒激蕩。

[火車站]

火車站幾乎不屬於城市的組成部分，但是包含著城市人格的真諦。這聖拉扎爾車站，在開了膛破了肚的城市高處，展開廣闊無垠而極不和諧的天空，戲劇性的威脅成團成堆地聚集，使天空顯得沉重……在這樣的天空下，只會完成某一可怕而又莊嚴的行動，諸如坐火車動身或豎起十字架。

[適應：醒來之後和人說話]

……說出這些話，而不是我這個處於剛剛醒來狀態的睡眠者正在繼續思考的那些話，這樣做要求我拿出平衡的力量，就像有人從一列行進的火車上跳下來，沿途跑上一段時間，最終得以站穩，沒有跌倒。他奔跑一段時間是因為他離開的是一個高速運轉的環境，與靜止的環境不同，他的腳一時難以適應。

（摘自：《追憶似水年華》[法語：À la recherche du temps perdu，英语：In Search of Lost Time: The Prisoner and the Fugitive]，[法国]馬塞爾·普魯斯特 [Marcel Proust ，1871年—1922年] 的作品，出版時間：1913–1927，共7卷）

Comment by 就是冷門 on May 23, 2024 at 1:08pm

觀光客的凝視：視覺經驗符號

最近我也看了這本『觀光客的凝視』。現在將心得寫寫。本書我自己倒推薦的是第三章到第五章，第六章探討歷史與文化觀光比較大，當然也可看看。

我推薦原因在於，Urry在這幾部分非常清楚交代自己立場，尤其，點出現在觀光產業重要之處在那: 關鍵在於帶動其他產業，而不在於單純推廣觀光這個活動而已。

所以一般我們聽到很多探討觀光多重要的言談，大多都只跟你考察觀光，或單純討論觀光，不過乾稿，事實上，觀光在運輸界、餐飲業、飯店業帶動的利益，才更為可觀，當這些周邊朋友起來後，他們透過繳稅、僱員等帶動起更高的經濟收益，才為世人所重視。

光只是去看什麼歷史遺跡、美術館，其實爭議相當大，因為是否真的有這麼多效益？為何看這個而非那個？都罵聲連連(下面就是文化人的象徵鬥爭)。

這一點，Urry很有意思的，探討觀光、藝術等面貌時，就特別在第五章裡面，探討什麼是本真？什麼是高雅、低俗等問題。

尤其，他引述Bourdiue在 Distinction一書中，探討小資產階級與文化媒介人的概念，選取的段落跟過去小弟寫論文的觀點很像，不過我自己是認為Bourdieu用詞上太過激烈，反而沒有清楚交代自己研討出來的概念---小資的文化媒介人在現代社會中的意義在哪。他們可是現在流行、話題、甚至就是觀光客在凝視什麼的重大推手。

至於很多人會問，臺灣觀光政策應該走才對阿，英國、歐陸等都在這麼玩他們的觀光。我的看法，短期內不可能。臺灣的觀光政策應該從官方秀的角度看，我覺得101煙火秀是極致表現。在這個大秀有媒體注目度、可以長官致詞、跟廠商結合等，甚至還可吸引數以十萬計的臺灣居民參與。

臺灣除非如歷史博物館、故宮等地，單點式的願意從文化觀光角度出發，或諸如故宮跟附近的博物館，乃至於士林區相關單位串連，或許有可能透過『動線』的規劃串連起來，以小規模方試試看看，但是像臺北市、或高雄市要全力如此投入，我認為短期不可能，因為這種秀很難做。作秀，是要單點、能夠有長官蒞臨指導的方式才能舉行，如果觀光客都花錢在諸如福華、國賓大飯店，市長、局長、總統都不在大飯店辦公，怎麼突出行銷？

何謂「觀光客的凝視」？簡單來說，就是觀光客帶著慾望消費觀光景點的符碼。觀光客的凝視是社會建構而成，自成完整的體系。John Urry指出視覺經驗是觀光旅遊的重要面向，更強調「凝視主體」和「凝視對象」之間社會權力關係的操作與展演。觀光經驗的建構來自符號的消費與收集，觀光客的凝視是符號化的凝視，是浪漫的，是集體的，更是多元而流動的。這本探討現代觀光文化的重要著作，勾勒出觀光旅遊在過去幾世紀以來的演變流程，從大眾觀光旅遊（mass tourism）在歐洲和北美洲開始流行，到逐漸蔓延至世界大部份地區的整個歷史進程。除了社會學的思考之外，對文學想像與美感經驗分析，更為臺灣的跨領域研究提供了另類視角。（https://ccindustry.pixnet.net）

Comment by 就是冷門 on May 9, 2024 at 9:40am

Urry·觀光客的凝視

『Tourist Gaze』和『Staged Authenticity』一樣，是旅游社會學最著名的概念。同名書籍出版於1990年，2002年再版，2011年出版叫做Tourist Gaze 3.0。這個書名，就充分反映了John Urry的個性：學術和業界，誰也不落下，傳統與時尚，我志在兼得。想想Dean Mac Cannell的the tourist副標題叫做A new theory of the leisure class，一看就仍是在經典社會學框架內。真有意思。

我只看了3.0，對於『tourist gaze』之前的理解在各種文獻中接觸到，無非是借福柯的gaze來寫旅游者，觀光客的凝視是社會建構而成，觀光經驗的建構來自符號的消費與收集，觀光客的凝視是符號化的凝視，有浪漫的/個人的，也有集體的。Urry 特別強調了旅游中的視覺經驗（vision），更強調gazer- gazee之間社會權力關係的操作(operate)與展演(display/performance)。所以我在看3.0之前的預估是，這會是本很理論的書。但結果，我更願意用「接地氣」來形容。對於Giddens和Urry的閱讀，對「好的英國學者是什麼樣的氣質」有些直觀感受，非常經驗主義，非常實用，但是不至於沒有反思，庸俗或者沒有關懷，但是你要想在裡面找到「激情，想像力，創造力」是會失望的，大概這樣。

3.0的前言裡有兩個值得注意的地方，第一是他提了1990,2002以來，到第三版2011年，「旅游」在世界范圍內有幾個新趨勢，1）旅游一則是現代人反思的方式（通過旅游反思），一則本身變成了反思的對象；2）亞洲（特別是中國）的中產游客數量劇增，對整個全球旅游業的圖景有影響，（p25中國90年代出現的西方世界主題公園和21世紀越來越多的在全世界的中國游客）；3）圍繞旅游的象征signs制造仍然更加關注；4）販賣「生活方式」的跨國公司（brand producers, Nike，Gap, easyJet, Body Shop, Hilton, Starbucks， p28）以更深刻的方式繼續影響著旅游業。之所以出現這幾個趨勢，我自己的理解是，一則是旅游與日常生活關係更緊密，界限更模糊(increasing similarities between behaviours that are 『home』 and 『away』)，「儀式化」程度降低；二則是互聯網的出現和全球化進程的深入，以下還會涉及。（作者：讓我想個名字，Tourist Gaze 3.0 讀後，2014-11-20 豆瓣）

延續閱讀

《旅人的凝視》

家居旅行·符號消費IP

札哈哈蒂：房子能浮起來嗎？12

陳明發的詩《夜雨》

文創庫

Comment by 就是冷門 on May 5, 2024 at 8:50pm

第二個值得注意的，是3.0較之前兩版的增刪，主要是對新趨勢和『tourist gaze』這個理論提出受到的批評/挑戰的回應。套用原話，the concept of the tourist gaze receives more theoretical consideration, including its 『darker』 sides，具體指p15: power relations between gazer and gazee within tourism performances, different forms of photographic surveillance and the changing climates that the global tourist gaze seems to generate) . Three new chapters examine the tourist gaze in relation to photography and digitization, recent analyses of embodied performances within tourism theory and research, and the various risks of tourism.

所以3.0共有九章，分別是theories，mass tourism，economy，working under gaze, changing tourist culture, vision and photography, place, building and design, performance, risk and future。下面主要是就每章的核心問題和對我的研究有價值的點展開探討。

第一章Theory.首先還是介紹了為什麼要用『gaze』這個詞，『highlights that looking is a learned ability and that the pure and innocent eye is a myth』。把「個人行為」背後的「社會機制」揭露出來，是所有社會學研究的第一步。Urry說『to depict vision as natural or the product of atomized individuals naturalizes its social and historical nature, and the power relations of looking』。但是真的，我看完整本書，都沒覺得他對power relation的分析有很多，多透徹，在他的體系裡，這不是重點。甚至，從p97 we have so far conceptualized the tourist gaze as being distinct from other social activities and occurring at particular places for specific periods of time這句話來看，他其實是把tourist gaze等於tourism的。

而且，他應該也不想把自己變成一個馬克思主義者，在關於「mass tourist」（more or less emptied of meaning, a commercialized cliché）是不是只會消費，是不是cultural dope的問題上，他也用了福柯彌散的權力觀，甚至Fiske的文化觀，這個跟MacCannell始終批判的立場完全不同。

「旅游」的社會意義一則體現在越來越龐大的人群，即從individual travelers to 『mass society tourist』，從而圍繞旅游業發展出來一套成熟完整的系統，或者說，這套系統也是現代社會有機部分。Urry為「大眾旅游」的出現劃定的1840年特別有意思，在此之前，『travel was expected to play a key role in the cognitive and perceptual education of the male English upper class』.18世紀的英國，人們有一年一度休假，去做生意也去countryside度假，，但是19世紀以前，除了上層，很少有人（中下層）為了做生意或工作以外的原因出門。p6：…it is this which is the central characteristic of mass tourism in modern societies, namely that much of the population in most years travels somewhere else to gaze upon it and stay there for reasons basically unconnected with work.換言之，旅游行為是作為「休閒」的一種，從日常生活裡分離出來。研究旅游，是研究一群人在特定時空的特定（消費）行為。

第二種完全不同的分析旅游的視角是，旅游者可以作為「現代人」整體的一個比喻metaphor，人在旅游中的狀況，反而「更能」說明人在現代社會中的狀況，這跟研究瘋癲，自殺等所有社會越軌的邏輯是一樣的。潛在的邏輯是，因為旅游離開日常（routine；regulated，organized work），離開家（home），所以更能體現日常normal society中的某種特征。而在這個問題上，我看到現在，最哲學的思辨，莫過於「旅游反映了現代人如何處理『不同』」這個命題。「值得旅游」的前提，總是「不同」，所以整個旅游系統，就是現代社會處理「不同/他者」的一種方式，看起來最溫和，不起眼的方式，其實是把他者的他者性馴化甚至吞噬（Mac Cannell），或者，作為旅游者（消費者），你對「不同」不承擔責任，所以鮑曼才會說，『the tourist is bad news for morality』。（但是如何處理『不同』，著重點還是在於自己-他人關係，這跟我想通過研究背包客來研究他們的『自我』還是有一點偏差，只是提醒自己）

所有關於背包客的社會學研究，都想走第二條路，從朝聖者pilgrim開始，到nomad，vagabond，明顯都是借這群人比喻整個社會現象，而我研究中國的背包客，也無非是為「轉型社會中的中國年輕人」這個整體，找個代表性意象而已，這跟做富士康工廠中的80後工人，有本質性的不同。

Urry對旅游研究的理論梳理並無新奇，從Boorstin 『pseudo-event』，『environ-mental bubble』這些對大眾旅游著名的批評開始，到MacCannell的『staged authenticity』。 MacCannell把所有旅游者都比喻成現代社會版本的朝聖者，動機是對真實性的尋求，對於Boosrstin和MacCannell之間的關係，Urry這句說的特別好p11「MacCannell argues that 『psuedo-event』 result from the social relations of tourism and not from an individualistic search for the inauthentic」。所以M的理論是從「個人」層面上升到了社會。而rite-de-passage，是把關注點放在旅游者本身。

對MacCannell的兩點挑戰，第一「尋找真實性」並不一定是所有旅游者的動機，「尋找不同」（out of ordinary）才是；「不同」並不意味著「真實在別處」，可能意味著刺激，新鮮；第二，post –tourists在乎的不是「本質性」，而是「體驗」和「快感」，這就根本不在乎舞台真實或者表演之類的，重要的是「我的體驗」，而「交友」也是重要動機之一。這兩點都對我的研究有重要的啟發，因為我的研究對象，我都將其frame為「熟練的大眾旅游者」（experienced mass tourists），在這個意義上，真不真實，在動機裡真的不是特別重要的成分。這一切，都是因為「旅游」這件事的意涵在過去幾個世紀發生了變化。

• ‹ Previous
• 1
• 2
• Next ›
• Page