공의로 김지대(1190~1266)의 충효를 기리기 위해 현재의 경상남도 밀양군 청도면 두곡리에 남계서원을 창건하여 위패를 모셨다. 사당의 명칭을 충효사라 하고 선현 배향과 지방 교육을 담당하다가, 고종 51년(1868) 대원군의 서원 철폐령으로 훼철되었다. 위패는 뒷산에 묻고 단을 세워 향사하다가, 1907년에는 후손들이 강당인 쌍수당을 중건하기도 하였다. 그 뒤 전라북도 무장향교 관내 유생들이 발의하여 1982년 현재의 이곳으로 옮겨 복원하고, 명칭을 계산서원이라 하였다. 서원 내에는 사당인 상충사 3칸, 강당인 경의당 4칸, 감모재 5칸, 내삼문, 정문인 쌍수문, 고직사 등이 있다.

(자료 출처: 한국관광공사 · 대한민국 구석구석)