那麼，這種以「五」分類的結構是由何而來的呢？在五行體系眾多的範疇中，何者才是「五」數的客觀基礎呢？也就是說，在五行說的諸層面之中，那一層面的要素客觀地就具有這種「五」數特征並具有這種品類萬物、囊括萬有、經緯宇宙、貫穿古今的力量呢？

這只能是時間和空間，因為時間和空間是人類領會世界、認識萬物的基本形式。按東、南、西、北、中五方劃分空間和方位，源遠流長。這種觀念至少可以追溯到殷墟卜辭[2]。其實，五方原本只是四方，即東、南、西、北四方，而四方之所以又變成五方，是因為四方觀中已經蘊涵了五方觀，因為要確定四方，必須首先確定中央，因此，說四方，就已經意味著五方[3]。五時其實也只有四時，即春、夏、秋、冬四時，只在為了與五方「門當戶對」，故在四時之外畫蛇添足地生造了一個「季夏」，用來和「中央」匹配。總之，五方五時完全是從四方四時來的。

追根究底，這種按四方和四時劃分空間和時間的時空觀，是通過原始天文學建立起來的。稍有天文常識的人都知道，方位的確定和時節的劃分相輔相成：東、西方向是依靠太陽的出入方位確定的，春、秋分太陽從正東升起，在正西降落，因此，東、西方的兩個方位的確定有賴於春、秋分兩個節氣的確定，反之亦然，春、秋分的准確確定也離不開東、西方向的正確測定；冬、夏二時的則離不開南、北方基准，古人借助於立表側影確定冬、夏至，根據在一年中每天中午太陽上中天時表木投影的伸縮推移而判斷，中午影長最短的日子就是夏至，最長的日子就是冬至，而要准確觀測中午日影的變化必須首先准確確定南、北方。總之，春、夏、秋、冬四時的確定離不開東、南、西、北四方的確定，反之亦然，四時配四方的觀念即濫觴於此。《尚書·堯典》中羲和四人分至東、南、西、北四方測定仲春（春分）、仲夏（夏至）、仲秋（秋分）、仲冬(冬至)以「敬授民時」、「定四時成歲」，就體現了四時與四方之間這種相輔相成的關係。王應麟云：「作曆之法必先定方隅，驗昏旦，測時氣，齊晷刻，候中星。」 （《玉海.卷十》）「定方隅」即確定方位（四方和四維），「候中氣」即觀測四時仲氣（春、秋分和冬、夏至），兩者是制定曆法的基本前提。天文觀測中方位與時間的關聯絕不限於這些方面，但即此已可見兩者之息息相關了。其實，空間方位原則上是可以無限分割的，除了分為四方之外，也不妨分為六方、八方、十二方、二十四方，而人們之所以習慣於把空間分為四方，追本溯源，正是緣於一年分為四時。

原始天文學和曆法制度這種對人類時間和空間知識的奠基作用，應該成為我們理解五行說對於古代知識、思想、學術、方術的總括作用的出發點。曆之時義大矣！時間和空間是人類社會實踐活動的基本依據和人類領會世界的基本知性形式，而時間觀和空間觀最直觀和最原始的表現形式就是曆法。人文之初，正是曆法，建構了一個社會的時間節律和空間模式，規定了人們的時間觀和空間觀。由於時間和空間是人們的宇宙觀賴以奠立的基石，因此，對於人類精神而言，曆法，就不僅僅是一串用符號或數字表示的周而復始的年、月、日、時辰，也不僅僅是農人們日出而作、日入而息和春耕秋收、佔年卜歲的時令依據，而且還是人們理解宇宙和曆史的基本依據，正是因為有了曆法，浩瀚的星空、蒼茫的大地、悠悠的逝水流年，才不再是一團渾朴未開的混沌，才變得輪廓分明，井然有序，從此天有分野，地有經緯，曆史有編年，才有了天文、地理和人倫，天地間芸芸眾生、森羅萬象，歲月中紛紜世事、似水流年，都在這個秩序中獲得各自的位置和特定的意義，世界和曆史才變得是可以理解可以言說。