鐘樓和鼓樓首先出現在私人住宅中。西漢出土的民間住宅中的壁畫望樓應該是最早的鐘樓鼓樓，里面裝有大鼓。望樓的主要目的是防止壞人搶劫。人們可以在更高的樓上觀察和觀察；明清乃至民國時期，許多住宅都有望建造。望樓和鐘樓鼓樓都是為了防御和希望而產生的。
隨著城市的發展，這種鐘樓和鼓樓也開始建在城市里。城市面積很大，漢朝沒有鐘表，所以我們不得不依靠敲鐘和鼓來報告時間，也就是所謂的早鐘和晚鼓。這種方法后來也在公共建筑中發展起來，因為公共建筑也需要報告時間，所以寺廟、寺廟、書院、大廳也開始建造鐘樓和鼓樓。
鐘樓和鼓樓通常建在佛教寺廟里。在伽蘭七堂系統中，鐘鼓二樓也被認為是一個大廳。人們常說“左鐘右鼓”，這是指面南的寺廟。據《寺廟塔》報道，鐘樓位于寺廟的東側。印度最早的佛教寺廟——只有花園精致的房子，在無常的大廳里掛鐘，被稱為“相當黎鐘”。撞鐘時，要慢，共108響。
鐘鼓樓最初位于大雄寶殿后部的左右兩側，后來鐘鼓二樓逐漸向前移動，清末已移至山門左右兩側。小規模的寺廟，掛鐘鼓不設樓，建在大殿內外的鐘架和鼓架上。鐘鼓二樓分別建在大寺院，如北京的大鐘寺，以鐘樓為主；其他如法海寺、法源寺、法華寺、廣濟寺、智化寺、普陀山普濟寺等，均設有鐘鼓樓。所有這些大寺廟都在山門兩側設置鐘鼓樓，左鼓右鐘。
還有一個特別的例子。山西原平縣西部山區有一座古惠濟寺。寺廟入口后，以中軸線為中心，左右對稱。前廳、中殿、大雄寶殿、后閣依次排列，前低后高，節節高起。這是傳統的布局。整個寺廟的建筑一個接一個地排列著房間，井然有序。周圍有高墻。寺廟安靜，風不揚沙；寺廟和尚不多，但房子很古老。
這座寺廟的奇特之處在于它在鐘鼓二樓的位置。一般來說，佛教寺廟在山門后面是鐘鼓二樓；惠濟寺提升了鐘鼓二樓的地位，建在寺廟兩側山峰的頂部，這是中國唯一的例子。這是充分利用寺廟周圍的地形和地貌設計的，普通人無法想象也不敢這樣做。這種做法很新穎，無形中將兩座山與佛寺融為一體。鐘聲鼓聲遠傳，使佛寺名揚。
