Semenjak runtuhnya kerajaan Majapahit yang kemudian di susul dengan masuknya agama Islam, banyak bangunan suci yang berkaitan dengan agama Hindu / Budha begitu saja di tinggalkan oleh masyarakat penganutnya. Lama-lama bangunan-bangunan suci yang tidak lagi dipergunakan itu di lupakan orang-orang karena masyarakat sebagian besar telah berganti kepercayaan. Akibatnya bangunan tersebut menjadi terlantar tidak ada lagi yang mengurusnya, pada akhirnya tertimbun longsoran tanah dan semak semak belukar. Yang nampak adalah puing - puing berserakan di sana sini. Ketika daerah ini berkembang menjadi pemukiman keadaannya menjadi lebih parah lagi. Batu - batu candinya di bingkar orang dari susunannya untuk keperluaan alas bangunan rumah atau pengeras jalan, sedangkan batu bata yang di tumbuk untuk dijadikan semen merah. Sejumlah batu-batu berhias dan juga arca-arca di ambil oleh sinder - sinder perkebunan. Keadaan yang menyedihkan ini berlangsung cukup lama, sampai datangnya para peneliti pada sekitar permulaan abad XIX. Dengan keahlian yang dimilikinya mulailah para peneliti itu mengadakan rekonstruksi dan pemugaran.