मुघल सम्राट औरंगजेबाच्या कारकिर्दीत, देशभरातील इतर हिंदू मंदिरांसह हे मंदिर पाडण्याचा आदेश देण्यात आला होता. या हेतूने त्याने खास कैलास मंदिर नष्ट करण्यासाठी 1000 हून अधिक मजूर पाठवले; त्याने 3 वर्षांहून अधिक काळ रात्रंदिवस काम केले, परंतु इकडे-तिकडे काही मूर्तींचे विटंबन करणे त्यांना शक्य झाले नाही.