가정 이곡(1298∼1351)과 목은 이색(1328∼1396)의 학문과 덕행을 추모하기 위해 세운 서원이다.

이곡은 고려 후기 학자로서 이색의 아버지이다. 원나라의 과거에 급제하여 실력을 인정받았고, 문명을 떨쳤다.

이색은 고려 후기 문신이며 학자이다. 원·명교체기에 친명정책을 지지하였고, 유교의 입장에서 불교를 이해하고자 하였다. 그의 문하에서 권근, 김종직, 변계량 등을 배출하여 조선 성리학의 주류를 이루게 하였다.

문헌서원은 선조 27년(1594)에 세웠으나, 임진왜란 때 불타버렸다. 그 뒤 광해군 2년(1610)에 한산고촌으로 옮겨 다시 세웠다. 이듬해에 나라에서 문헌이라는 현판을 받아 사액서원이 되고 인재 이종학·음애 이자·배옥헌 이개 등을 추가로 모시게 되었다. 고종 8년(1871)에는 흥선대원군의 서원철폐령으로 폐쇄되었다.

그 후에도 처음 문헌서원이 있던 곳에 단(壇)을 만들고 분향해 오다가 1969년 지금 있는 자리에 다시 짓고 문양공 이종덕 한 분을 더하여 여섯 분의 위패를 모시고 있다. 해마다 음력 3월과 9월에 제사를 올리고 있다.