当山は平安の昔、後白河法皇の勅願にして平清盛の建立であり、現在の上野城東方の所にあったと伝えられている。当時は上野山平楽寺と号し、諸堂及び子院三十六坊を有したが天正の兵火にあい、悉く焼尽する。

その後再建されたが、元禄十年正月十七日の夜、類焼にかかり再び焼失。その時伊賀越仇討の原書渡辺数馬、荒木又右衛門の実記等も焼失。

当時のことを今に伝えているのは、境内の一角に祀られている河合又五郎の墓所と、彼の遺品だけである。

本堂手前に位置する河合又五郎の墓所