지촌 김방걸 선생의 덕을 기리기 위해 세운 서원이다. 김방걸(1623∼1695) 선생은 현종 1년(1660)에 증광문과에 병과로 급제하여 벼슬길에 올라 많은 관직을 지냈다.

지산서당은 정조 24년(1800)에 지었으나 고종 때 흥선대원군의 서원철폐령으로 철거되었다. 그 뒤 1926년에 복원하였으며, 1988년 임하댐 건설로 지금 있는 자리에 옮겨 세웠다.

서당 건물은 앞면 5칸·옆면 2칸 규모의 一자형이다. 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔작지붕이다. 지붕 처마를 받치기 위해 장식하여 만든 공포는 새 날개 모양인 익공 양식으로 꾸몄다.