신라시대 절이었으나 조선 전기 문신인 금원정(1472∼1557)선생이 성종 11년(1480) 이 건물을 인수하면서 ‘무진장재’라고 개명하였고 용도도 재실로 바뀌었다.

그는 연산군 때 진사가 되었고, 중종 10년(1515) 장사랑 영해 훈도(訓導)를 역임하고 현량(賢良)이 되었다. 그러나 중종 14년(1519) 훈구세력에 의해 조광조 등의 신진세력이 화를 당했던 ‘기묘사화’가 발생하자 벼슬을 버리고 자연에 묻혀 학문 연구와 후진 양성에만 힘쓰며 살았다. 당시 생원시에 합격한 사람들의 모임인 ‘사마회(司馬會)’를 주관하였으며 현재 보존하고 있는 현판으로 그의 필법이 뛰어났음을 알 수 있다.

이 건물은 앞면 5칸·옆면 6칸 규모로 전체적으로 ㅁ자형구조를 이루고 있다.