이 서원은 조선시대 학자였던 윤황(尹惶)의 위패를 모시고 제사지내는 곳이다. 윤황은 병자호란 때 끝까지 싸울 것을 주장하는 상소를 올린 강직한 신하로 유명하다. 윤황은 글씨에 능해 당대의 명필로 이름을 드높였으며, 인조 때에는 전주부윤이라는 벼슬을 맡기도 했다. 반곡서원은 윤황의 위패를 가운데 모시고, 조선시대 학자인 이영선(李榮先)과 서필원(徐必遠)을 함께 모셨다. 이 서원은 고종 5년(1868)의 서원철폐령에 따라 헐렸다가, 고종 15년(1878)에 다시 지어졌다.