‘관악사지’는 관악산 남동쪽 계곡부의 최상단에 있다. 위쪽에는 연주대가 있고 아래쪽에는 연주암이 있다. 관악사는 급경사 지역에 구역별로 석축을 쌓고 평탄지를 조성하여 건물을 건립한 전형적인 산지 가람의 형태를 보이고 있다.

「연주암지」에 의하면 관악사는 677년(신라 문무왕 17) 의상조사가 창건했다고 기록되어 있다. 1411년(조선 태종 11) 양녕대군과 효령대군이 세자 직위를 충녕대군에게 물려준 후 관악산에 올라 마음을 달랬다고 한다. 효령대군이 이곳에서 2년간 수양을 하며, 관악사를 현 위치로 옮겨 지으면서 40칸의 가람을 건설하였다. 관악사지는 6개 이상의 건물이 있었던 것으로 보인다. 그런데 일시에 건립된 것은 아니고 시기에 따라 일정한 가람을 건립한 것으로 보인다. 가람이 산사태에 의해 폐사되면 인근으로 옮기거나 그 자리에 새로운 가람을 건립하여 명맥을 유지하여 오다가 18세기에 폐사된 것으로 보인다. 사찰 건물은 급경사 지역에 석축을 쌓아 평탄하게 만든 후 평탄지대를 따라 층계를 쌓듯이 축하했다. 이는 지형을 최대한 이용하면서 인공적인 건물과 자연지형과의 조화를 꾀하려는 전통적인 산지 가람의 배치 방법을 충실히 따른 것이다.