趙秀鳳 崔亞霄:多模態體認詩學—基於體認語言學的研究 4

在文字和視覺模態的協同作用下,讀者「多模態器官」體驗且認識到身體與書籍之間不僅是概念上的跨域映射關係,也是自己身體和心理互動體驗下的「合二為一」。 這一實例完美地揭示了多模態文學對多模態體認的「前景化」調用,突出了體認的多模態性。

1. 2 體認的交互性

體認語言學在闡述其核心原則「現實—認知—語言」時,格外強調體認的「互動性」:一是人通過對外部現實世界(包括自然、社會、文化等)直接感性接觸所產生的互動體驗,二是人在外界感性接觸基礎上進行的認知加工。 從「體的互動體驗」到「認的認知加工」,再返回到體驗,循環升華 (王寅,2020: 22)。 從語言的產生、語言的發展到語言的習得都是以人的體認為基礎的(林正軍 等,2021),「現實」「認知」和「語言」之間的互動推動了語言的產生和使用。 體認語言學在闡釋各類語言現象時所使用的理論工具,如概念隱喻、認知參照點、意象圖式、理想認知模型、識解等都是圍繞人與世界的互動展開的理論闡述,都強調人與人、人與自然互動過程中身體感知覺體驗的規律性特征對於語言符號的產生、表達和理解的作用。 例如,王寅(2020)結合大量實例,闡述了隱藏在歇後語背後統一的體認型式:歇後語的前項描寫人較為直觀的感性生活體驗,後項揭示由該體驗所引發的認識,「反映了人們從『感性到理性』,從『具體到抽象』,從『外延到內涵』,從『參照點到目標』,從『明示到推理』,從『背景到圖形』,從『表層到深層』(由表及裡)的體認過程」 (王寅,2020:2)。

體認語言學關於互動性的論述主要闡釋語言產生和使用的規律性特征。 其實,體認的互動性理論能更充分地闡釋讀者在閱讀多模態文學過程中的身心交互特征,如多模態小說VAS中第139頁末端的文字為(「Still, it moves」)在排版上顛倒了文字的方向(圖2)。

圖2 VAS(Tomasula, 2002: 139)節選

要識讀這些文字,讀者必須把書旋轉過來。 這種設計配合該部分表達的主題———宇宙的本質一直處於運動之中,呼應該句「一直在動」的語義,因為讀者必須做出翻轉書本的身體行為,才能讀到「一直在動」這句話。 在該情況下,讀者的身體機能與語言對行為的觸發雙向互動,「執行一個動作有助於理解包含行為動詞的修辭短語和文學短語」(Gibbs,2005:88)。 因此,讀者翻動圖書的身體動作同時啟動了「移動/運動」這一概念,使讀者得以身心協同體驗「移動/運動」,加深對「一直在動」這句話的理解。 此外,該頁配有眾多箭頭和線條組織成的旋轉圖像,視覺、行為動作、感知和文字理解多路徑協同,創造關於宇宙旋轉移動的感性體驗和理性認知。

關於身心體認及其與世界的互動,認知科學家萊德曼(Lederman) 和克萊茨 (Kiatzy)曾指出:

「人們使用觸覺系統來感知真實物體和虛擬物體同時存在的世界,並與其進行互動。」(2001:71)同樣,馬克斯(Marks,2002:2)也指出:「我們正是通過協同觸覺、動覺和本體感受,才同時在閱讀書籍的過程中獲得身體感知和內心體驗。」從這一意義來說,通過調動讀者的身體與書本在實體意義上的直接接觸,VAS成功激活並強化了讀者的交互性體認。 體認的交互性還體現為讀者與人物之間的「協同共振」。 與常規文字小說不同,多模態小說往往借助多模態符號,頻繁調動讀者對故事世界的身體參與,這一點在敘述人物行為動作時,表現得尤為突出。 例如,在《書頁之屋》第4:0⁃:4:1頁,作者通過排版(見圖3)設計出如具象詩般的文字,描述人物戴維森(Davison)攀爬探險的行為過程:

圖3 《書頁之屋》(DanieleWski,2000: 4:00) 節選

(原題:多模態體認詩學—基於體認語言學的研究;作者趙秀鳳&崔亞霄;原載:外國語文 [雙月刊];2023 年9 月;第39 卷 第5期;82至92頁;作者單位: 中國石油大學 外國語學院,北京10224:9;關鍵詞:多模態認知詩學;體認語言學;多模態文學;體認詩學;參考文獻略,請看原文)

Views: 19

Comment

You need to be a member of Iconada.tv 愛墾 網 to add comments!

Join Iconada.tv 愛墾 網

愛墾網 是文化創意人的窩;自2009年7月以來,一直在挺文化創意人和他們的創作、珍藏。As home to the cultural creative community, iconada.tv supports creators since July, 2009.

Videos

  • Add Videos
  • View All