선암서원은 삼족당 김대유와 소요당 박하담을 모신 서원으로 선조 원년(1567)에 매전면 동산동 운수정에 두분의 위패를 모시고 향현사라 하다가, 선조 10년(1577)에 지금의 위치로 옮기고 선암서원이라 하였다. 숙종 2년(1676)에 다시 지었으나, 고종 5년(1868) 흥선대원군의 서원철폐령으로 훼철되었다. 지금의 건물들은 고종 15년(1878)에 박하담의 후손들이 다시 지은 것이다.

대문을 들어서면, 안채와 득월정·행랑채가 ㄷ자 형을 이루고 그 뒤쪽으로는 선암서당이 있다. 선암서당은 앞면 5칸·옆면 2칸의 규모이며, 가운데 3칸은 대청마루이고 그 양쪽으로는 방을 들였다.

대문채의 남쪽칸으로는 송은·우당·소요당·제우당 등 14의사의 문집목판이 보관되어 있다.