관음사는 도의선사가 창건한 것으로 전해지는데, 임란 후 17세기 초에 중수되면서 많은 속암(屬庵)이 딸린 대규모 사원이었던 것으로 추측된다. 1707년 이 후 어느 시기에 화재를 당해 다시 재건되지 못한 채 현재에 이르고 있다. 관음사지 사적비는 1707년(숙종 33) 자연암반에 12cm 정도의 깊이를 파 세운 것으로 대좌(臺座)와 비수(碑首)는 없다. 이 비는 폐사된 관음사의 연혁을 알 수 있는 중요한 자료로, 사면비(四面碑)에 찬자(撰者), 서자(書者), 전자(篆者)가 모두 승려라는 점에서 그 특징이 있다. 지방관의 협조 없이 승려의 주도하에 만들어졌을 뿐만 아니라 사원 경제와 관련된 입전(入田)내역을 자세히 기록하고 있어 학술 연구 자료로서 가치가 크다.