長安街拓寬工程中，連同雙塔一同需要拆除的，還有東西長安街上的牌樓，以及前門大街和正陽門橋牌樓等等古建築。

牌樓即牌坊，始源於中國古代城市的里坊制度。據梁思成在《中國建築史》中考證，“牌坊為明清兩代特有之裝飾建築，蓋自漢代之闕、六朝之標、唐宋之烏頭門欞星門演變形成者也。”經過幾百年的發展，牌樓成了建在大街轉角、交叉口、丁字街口的標誌，也增添了城市街道的美感。其中有些規模宏制的牌樓，實際上是中國古代的“凱旋門”。——現在，世界各地的“唐人街”均建有牌樓，成了華人聚居地的標誌性建築。

北京西四的牌樓東西南北四座，分立於交通路口，形制相同，均為三間四柱三樓沖天柱形式。東曰“行仁”、西曰“履義”，南北曰“大市街”。是昔時古都的重要交通要道和商肆繁華地段。與此相對應的有東四牌樓。正陽門前正陽橋牌樓是北京單體建築規模最大的，牌樓寬五開間之多，俗稱五牌樓，為五間六柱五樓沖天柱形式。在牌樓當心間上下坊額之間，書“正陽橋”三字匾額——這里正是北京都城大門正陽門的入口。

北京牌樓的大規模拆除，早在1950年就開始了。這年9月，在天安門道路的拓寬工程中，北京市建設局拆除了東公安街和司法部街牌樓。僅牌樓上的匾額由文化部文物局收藏。當時，政務院遵照周總理的批示的精神，對北京市的其他城樓、牌樓等，進行了調查，對有些古建築還進行了修繕。如配合國慶，東西長安街上的牌樓還被油漆一新。

但這種情況並沒有持續多久。

1951年底，大破之風陡轉。北京市開始醞釀大規模拆除牌樓。直接的原因是“影響交通”。1953年5月，中共北京市委就朝陽門、阜城門和東西單、西四、歷代帝王廟前牌樓影響交通的問題向中央請示，同時擬拆掉朝陽門、阜城門城樓和甕城，交通取直線通過；東西單、西四、帝王廟牌樓一並拆除。5月9日，中央批準了這個方案，並指出進行此項工程時，須進行一些“必要的解釋，以取得人民的擁護”。

北京市副市長、明史專家吳晗擔任起解釋拆除任務的工作。

梁思成與吳晗發生了激烈的爭論。

梁思成不是一個普通的建築師，而是一個建築學家、建築教育家，對建築史的研究，尤為精深。熟知中國各個歷史時期建築風格、建築思想的變化。梁思成認為，城門和牌樓、街坊構成了北京城古老街道獨特的景觀，城門是主要街道的對景，重重牌坊、牌樓把單調筆直的街道變成了有序的豐富的空間，這與西方都市中的雕塑、凱旋門和方尖碑等有同樣的效果，是街市中美麗的點綴物與標誌物，可以用建設交通環島等方式合理規劃，加以保留。

當年在國務院工作的方驥回憶起梁思成與吳晗的一次沖突：梁先生為了舊都多保留一些有價值的牌坊、琉璃宮門等古建築，在擴大的國務院辦公會議上，和自稱“改革派”的吳晗爭得面紅耳赤。記得有一次，吳晗竟站起來說：“您是老保守，將來北京城到處建起高樓大廈，您這些牌坊、宮門在高樓包圍下豈不都成了雞籠、鳥舍，有什麼文物鑒賞價值可言！”氣得梁先生當場痛哭失聲。

1953年8月，吳晗主持會議，討論北京市文物建築保護問題。在這次會上，清華大學林徽因教授提出：“保護文物和新建築是統一的。保護舊的是為新建築保存優良的傳統”，“北京9個城門是對稱的，如一旦破壞，便不是本來的基礎了。再如天壇只保存祈年殿，其他都拆除了也不是保存文物的辦法”。她認為，對北京這樣一座文化古城，民居建築的保存也是重要的方面：“藝術從來有兩個傳統，一個是宮殿藝術，一個是民間藝術，後者包括一些住宅和店面，有些手法非常好，如何保存這些是非常重要的。”

梁思成先生在發言中指出：“北京市的發展要在歷史形成的基礎上發展。一定要保存歷史形成的美麗的城市風格。有些單位，如公安、交通、經濟部門考慮存在片面。”“在保護古建築工作上，首都應起示範作用，慎重是必要的。”他還搬出了“老大哥”蘇聯的經驗，提出“莫斯科建設中，古建築在原則上盡量保存下來”，他以“土地私有”譏諷破壞文物建築的行為：“北京市各機關好像有土地私有的觀念，在他們的範圍內愛拆愛建，一點也不考慮整體。”

在聽了專家們發言後，吳晗作答：“在處理中應尊重專家的意見，但專家不能認為自己的意見必須實現。”——顯然，他此時不是以專家，更是以北京市領導的身份說這番話的。征求專家意見，從來就不是科學或學術的討論，更多的隱含著“政治”命題，其嚴肅和防範，使許多人噤若寒蟬。

會後，由北京市政府和文化部文化事業管理局等部門共同組織了聯合調查小組，對北京城區的牌樓及其他一些古建築進行了調查。最後對牌樓作出了保、拆、遷三種處理方式，即在公園、廟壇之內的可以保留下來，大街上的除了成賢街和國子監的4座外，全部遷移或拆除。