도천서원에 모시고 있던 청향당 이원과 죽각 이광우를 따로 모시기 위해 세운 서원이다. 이원은 조선 전기의 학자이며, 이황 선생과 학문의 뜻을 같이 하였으며, 1546년에는 나라에서 벼슬을 내렸으나 거절하고 학문에만 전념하였다. 배산서원은 1771년에 덕연사만 세워 위패를 모시고 제사를 지냈으나, 흥선대원군의 서원철폐령으로 1868년에 철거되었다. 그 뒤 1919년에 새로 지어 배산서당이라 하였다. 서원 안에는 문묘, 도동사, 강당이 있고, 문묘는 앞면 세 칸, 옆면 한 칸 반 규모로 공자의 영정을 모시고 있다. 도동사는 앞면 세 칸, 옆면 한 칸 반 크기의 건물로 청향당 이원·퇴계 이황·남명·죽각 이광우 등의 위패를 모시고 있다. 안에는 중국 학자인 강유위가 쓴 현판과 백범 김구·성재 이시영·우천 조완구·백암 박은식 선생의 배산서당 낙성축문 현판을 보관하고 있다.

(자료 출처: 한국관광공사 · 대한민국 구석구석)