퇴계 이황(1501∼1570)과 우복 정경세(1563∼1633) 선생을 기리기 위해 세운 서당이다. 처음 지은 연대는 알 수 없으나, 이곳에서 이황 선생과 정경세 선생이 강의하였던 곳이라하여 1500년대로 추정하고 있다. 숙종 16년(1690)에는 서당 뒤편에 사당을 지어 서원이라 하였다. 고종 5년(1868)에는 흥선대원군의 서원철폐령으로 철거되었다가, 고종 16년(1879)에 서원 옛터에 강당만을 다시 지어 고산서당이라 하였다. 그 뒤 1964년 수리하여 오늘에 이르고 있다.

규모는 앞면 4칸·옆면 2칸으로 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양을 한 팔작지붕으로 꾸몄다. 현재 사당 자리에는 이황·정경세 선생의 강학유허비가 서 있다.