이서를 주벽으로 하여 심구령·안성·소연·소산복·이당 등 6현의 위패를 모시고 있는 서원이다.

송강 이서(1332∼1410)는 고려말∼조선초의 문신으로 공민왕 6년(1357) 문과에 급제하여 여러 벼슬을 거쳤으나, 정치가 문란한 것을 보고 관직을 버리고 고향으로 돌아갔다. 그 뒤 태조 1년(1392)에 이성계 추대에 참여하여 조선 개국공신 3등에 올라 안평군에 봉해졌으며, 영의정까지 이르렀다.

이 서원은 정조 13년(1789)에 지금 있는 자리로 옮기면서 호암서원으로 이름을 바꾸었다. 고종 5년(1868) 흥선대원군의 서원철폐령으로 폐쇄되었으나, 1961년에 복원하였다.

서원 안에 있는 건물로 사당과 강당·전사청·외삼문·고사 등이 있다. 이곳에서는 해마다 3월에 제사를 지낸다.