伊東推說“為了遊說”，放下隊里的隊務不管，單身到廣島、名古屋、九州旅行，並趁著這趟機會，和各地的勤王家頻繁見面，鞏固了自己的勢力範圍。其中最讓人覺得可疑的就是他在廣島和長州藩建立了親密關係，有人看見他進出今出川的薩摩藩邸，還有人說他和中村半次郎（後來的桐野秋利）不清不楚。這在京都成了公開的秘密。

“那人遲早變成清川，總有一天，他要拉出去一批人，造我們的反。”

土方對近藤這麼說，近藤早就注意到清川和伊東相貌相同，眼角露出的高傲眼神更是有幾分神似。

“那就好好查一查，最好在他還沒有鬧事之前，悄悄地的把給做了。”

“有您這話我就放心了，伊東和我同等級別，樹大招風，我以前聽到這話的時候，還以為是別人造謠哪！所以一直隱瞞到現在。”

“你我之間，何必這麼客氣。”

近藤微微朝土方點了點頭，臉上的表情除了土方，不會有第三個人看見。

伊東也不是省油的燈，也感覺到了漸漸逼近的危險。

他倒不是警惕性太低，他和近藤的心腹藤堂平助將心里的懷疑都說了，並要求藤堂告訴他近藤的動向。他做好心理準備，如果近藤準備動手，他肯定先把近藤放倒。

但是伊東為什麼不離開這個虎穴哪？主要他認為還沒到離開新選組的時機。

直到江戶時代就開始的盟友篠原泰之進讚同他離開新選組，他才真正決心離開新選組。伊東這樣做事猶豫不決的知識分子，一定要泰之進這樣豪放的野小子在後面推他一把。

泰之進覺得伊東最近很奇怪，就在慶應二年二月的二月二十五日這天，請他到九條村自己家里吃豚汁，酒過三巡，他突然向伊東提問：“伊東先生，你現在考慮什麼。”

伊東被問了個措手不及，其實他早就有所行動了。最近他剛和薩摩藩的中村半次郎商量要搞一個“禦陵衛士”浪士團。這個組織的勤王色彩很濃，這事辦的很秘密，對外說斡旋的是個沒有任何政治背景的老和尚（五條大橋附近戒覺院長老，戡然。）沒有露出半點他們的後台是薩摩藩，他們小團體的運營經費也是從薩摩藩京都藩邸支出的。但是他們面臨的最大問題還是怎樣逃離紀律如鐵的新選組。

伊東考慮再三，還是將這個心里的秘密告訴了泰之進。

泰之進聽完伊東的話哈哈大笑：“我就知道是這件事，說實話土方已經開始行動了，什麼秘密都瞞不過他那雙光棍眼。先下手為強，還不如堂堂正正說清楚，離開這個鬼地方。”

“原來如此，壯士本色，但這是沒有辦法的辦法。”

“我這麼想，與其耍小聰明，還不如把這層窗戶紙捅破算了，弄不好這樣做反而會出乎他們的意料，打他一個措手不及。”

“明白了，篠原那你準備怎麼辦？準備跟著我們一塊幹嘛。”

“當然。”泰之進平靜的回答，一聽到泰之進這話，伊東馬上露出了笑容，情不自禁地擊節稱快。

“說得好！我知道你怎麼想的我才敢下決心幹這一番回天動地的大事業。我記著你的好。”

“哪里，別給我帶高帽子了。”

泰之進微微一笑，又寒暄了幾句，伊東就離開了。等伊東一走出家門，泰之進就大叫：“阿京，阿京，今後我終於可以做一個堂堂正正赤膊出去乘涼的男人啦！”

這是泰之進的心里話，從某種意義上來說，伊東脫離新選組，泰之進背上的傷口起了很大作用。