但是，由於受前述“崇實疾虛”思想觀念的影響，對於完全脫離實錄的奇幻類文學作品，人們有一個更加艱難的認識過程。盡管班固早已指出《黃帝說》四十篇“迂誕依托”的特點（《漢書•藝文志》），王充亦認為“世俗之性，好奇怪之語”（《論衡•對作》），但都不是正面肯定奇幻類文學作品，以致劉勰作《文心雕龍》，對“托云龍，說迂怪”，“木夫九首，土伯三目”等仍表示不滿，斥之為“詭異”、“譎怪”（《辨騷》）。

受這種觀念影響，南北朝時期雖然有大量志怪小說問世，但撰著者的目的僅為“明神道之不誣”，評論者亦只不過目之以“愛廣尚奇”（蕭綺《拾遺記序》）。因此，在宋代之前，人們雖然沒有直接禁止奇幻類文學作品，但大多認為“神鬼怪物，其事非聖，揚雄所不觀；其言亂神，宣尼所不語”（劉知幾《史通•采撰》）。這種狀況大約到了宋代才有所改變。洪邁在《夷堅乙志序》中認為，“《齊諧》之志怪，莊周之談天，虛無幻茫，不可致詰”，但卻“皆不能無寓言於其間”。此後，寓言說便成為奇幻類文學作品合理存在的重要理由。羅燁《醉翁談錄》亦注意到了話本中的奇幻故事，贊美說話藝人們“講鬼怪令羽士心寒膽戰”，“辯論妖怪精靈話，分別神仙達士機”（《小說開辟》）。

然而，直到瞿佑撰《剪燈新話》成，仍然擔心自己的著作“涉於語怪，近於誨淫，藏之書笥，不欲傳出”，最後還是考慮到“《易》言龍戰於野，《書》載雉雊於鼎”，自己的著作“勸善懲惡，哀窮悼屈，其亦庶乎言者無罪，聞者足以戒”（《剪燈新話自序》），才敢於將自己的著作公之於世。由此我們不難看出傳統的思維定勢是如何嚴重制約著人們的思想。《西遊記》的問世，從根本上打破了世人對幻想類文學作品的頑固偏見。陳元之的《刊西遊記序》就說：

彼以為濁世不可以莊語也，故委蛇以浮世；委蛇不可以為教也，故微言以中道理；道之言不可以入俗也，故浪謔笑虐以恣肆；笑謔不可以見世也，故流連比類以明意。於是其言始參差，而俶詭可觀，謬悠荒唐，無端崖涯涘，而譚言微中，有作者之心，傲世之意，夫不可沒已。

陳元之的這段話，顯然取自《莊子•天下》篇。莊子在談到自己文章的格調時說
以謬悠之說，荒唐之言，無端崖之辭，時姿縱而不儻，不以觭見之也。以天下為沈濁，不可與莊語，以卮言為曼衍，以重言為真，以寓言為廣。獨與天地精神往來而不敖倪於萬物，不譴是非，以與世俗處。其書雖瑰瑋而連犿無傷也。其辭雖參差而俶詭可觀。

陳元之顯然已經注意到了《西遊記》的藝術風格與《莊子》的相通之處，即二者都具有“浪謔笑虐以恣肆”“流連比類以明意”的特色。他不僅指出了《西遊記》詼諧、幽默的藝術特征和奇異瑰麗的神話色彩，而且探索其形成的原因，即世道汙濁難以從正面理喻，只能寓自己的思想於表面“俶詭可觀，謬悠荒唐”的文字之中，表達其“傲世”的思想感情。這就把這部充滿了神奇怪誕描寫的神話巨著，賦予了現實意義，認為《西遊記》“直寓言者哉”。

稍後，謝肇淛在《文海披沙》卷七中亦說：

俗傳有《西遊記演義》，載玄奘取經西域，道遇魔祟甚多，讀者皆嗤其俚妄。余謂不足嗤也，古亦有之。神農嘗百草，一日而遇七十毒；黃帝伐蚩尤，迷大霧，天命玄女授指南車；禹治水桐柏，遇無支祁，萬靈不能制，庚辰始制之；武王伐紂，五嶽之神來見，太公命時粥五器，各以其名進之。至於《穆天子傳》、《拾遺記》、《梁四公》又不足論也。《西遊記》特其濫觴耳。

作者從神農嘗百草、黃帝伐蚩尤、九天玄女造指南車、大禹治水等早期神話中，看到了《西遊記》的歷史淵源，又從《穆天子傳》、《拾遺記》、《梁四公》等志怪小說中，看到了《西遊記》奇幻題材的歷史繼承關系。作者短短一段話，就為我們勾畫了中國奇幻題材文學的發展軌跡。

但是，真正認識到《西遊記》奇幻特征的，則是《李卓吾先生批評西遊記》，簡稱李評本。在李評本中，“奇甚”、“極幻”之類評語隨處可見。如第33回總批說：“說到裝天處，令人絕倒。何物文人，奇幻至此。大抵文人之筆，無所不至，然到裝天葫蘆，亦觀止矣。”作品第53回寫唐僧、豬八戒子母河受孕，其總批說：“這回想頭，奇甚，幻甚。真是文人之筆，九天九地，無所不至。”第30回總批也說：“唐僧化虎，白馬變龍，都是文思極靈極妙、文筆極奇極幻處。作舉子業的秀才如何有此！”此類批語就不單純是指作品的題材之幻，同時也指作品創作方法與藝術手法之幻。但是，李評本的批語比較散亂，難以達到更高的理論高度。袁於令的《西遊記題詞》則彌補了這一缺陷。

袁於令的《西遊記題詞》見於李評本的卷首。他認為：

文不幻不文，幻不極不幻。是知天下極幻之事，乃極真之事；極幻之理，乃極真之理。故言真不如言幻，言佛不如言魔……至於文章之妙，《西遊》、《水滸》實並馳中原。今日雕空鑿影，畫脂鏤冰，嘔心瀝血，斷數莖髭而不得驚人只字者，何如此書駕虛遊刃，洋洋灑灑數百萬言，而不復一境，不離本宗。日見聞之，厭飫不起，日誦讀之，穎悟自開也！故閑居之士，不可一日無此書。

袁於令這里所謂的“幻”，實際上包含了多層涵義。其第一層涵義實際上涉及小說創作虛與實的關系問題，是對前述謝肇淛觀點的進一步補充。關於這一點，如果我們聯系袁氏署名吉衣主人的《隋史遺文序》，當會看得更為清楚。