조선 초기의 문신이며 학자인 김일손의 학문과 덕행을 기리기 위하여 중종 13년(1518)에 지은 서원이다. 선조 11년(1578)에 다시 지었으며, 임진왜란으로 불타 없어진 것을 광해군 7년(1615)에 다시 짓고 김극일과 김대유를 더하여 모셨다. 현종 2년(1661)에 ‘자계(紫溪)’라는 사액을 받아 나라의 공인과 경제적 지원을 받게 되었다. 고종 8년(1871)에 흥선대원군의 서원철폐령으로 없어졌다가 1924년에 복원되었다.

‘자계’는 연산군 4년 무오사화(1498)로 김일손이 화를 입자 서원 앞을 흐르는 냇물이 3일 동안 붉게 변한데서 유래하였으며, 서원 이름도 자계서원이라 부르게 되었다.

지금 남아있는 건물로는 사당인 존덕사와 제사준비를 하는 전사청, 강당인 보인당, 삼문, 영귀루, 동·서재 등이다. 이 중 영귀루와 동재·서재가 경상북도 유형문화유산으로 지정되어 있다.

영귀루는 서원에서의 여러 행사를 하고, 학생들이 모여 시를 짓고 풍류를 즐기던 곳이다. 동재와 서재는 학생들이 공부하고 숙식하는 생활공간이다. 영귀루 옆에는 김일손이 심었다고 전하는 은행나무가 있고, 원정비·신도비 등이 비각 안에 있다. 지금은 교육기능은 없어지고, 매년 2월과 8월에 제사만 지내고 있다.