윤찬·윤여임·백선남·윤지선·윤자민의 학문과 덕을 추모하기 위해 세운 서원이다.

윤찬은 조선 중기 무신이다. 임진왜란 당시 야인으로서 선조의 수레를 호위하여 피난길을 도왔다. 후에 선전관에 제수되고, 오위도총부부총관에 이른다.

윤여임은 조선 중기 무신이다. 무과에 급제하고 광해군 14년(1622) 조총·대포 등을 만들어 포상받아 선전관이 되었다. 병자호란 때 쌍령전투에서 싸우다 전사하였다. 후일 병조판서에 추증된다.

윤지선은 조선 후기 문신이다. 광해군 14년(1662) 문과에 급제하여 좌의정까지 오른다. 성품이 온건하고 원만하여 당쟁의 와중에 휩쓸리지 않았고, 경직된 정국을 완화시키려고 노력하였다.

백산서원은 70여년 전에 세운 건물로 규모가 웅장하다. 기둥으로 쓰인 나무는 백두산 것을 서해바다를 거쳐 직접 운송한 것인데 보존 상태가 매우 양호하다. 남아 있는 건물로는 사당, 강당, 내삼문 ·외삼문이 있다.