고려시대의 명관인 육려·임옥산·박이항 등 3인을 기리기 위한 서원이다. 조선 정조 13년(1789)에 세웠는데, 정조 22년(1798)에 박이겸과 정조 23년(1799)에 김설을 더하여 모셨다. 그 뒤 고종 5년(1868)에 흥선대원군의 서원철폐령으로 폐쇄되자 후손들이 제단을 만들어 제사만 지내오다가 1958년에 다시 세웠다.

현재 서원 안에 있는 건물로 강당인 울흥재, 사당인 압계사, 내삼문, 외삼문 등이 있다. 압계사에는 5인의 위패를 모시고 있으며 해마다 3월에 제사를 지낸다.