부인사는 신라 선덕여왕의 명복을 빌던 법당으로 ‘부인(夫人)’이란 선덕여왕을 말하는 것이라고 한다.

원래 이곳은 부처의 힘으로 외침을 막고자 새긴 고려 초조대장경판을 보관하던 곳이었으며, 고려 무신집권에 항거해 일어나 승려들의 본거지이기도 하였으나, 고려 고종 19년(1232) 몽고 침입으로 불타 없어졌다.

이 절터에는 축대, 초석, 당간지주 등 당시의 석조물이 많이 남아 있고, 주변에는 건물초석, 석탑, 석등들이 흩어져 있다. 이 석조물들은 당시 부인사의 규모을 알려주는 자료이다.