사암재는 이애와 그의 아내 진성 백씨의 묘 근처에 세운 재실 건물이다. 이애(1480∼1561)는 황해도 관찰사를 지낸 근재공의 아들로 중종 10년(1515) 과거에 급제한 후 선전관, 사헌부 감찰, 경주 판관 등을 지냈다. 20여년간 병으로 벼슬에 오르지 못하다가 명종 15년(1560) 통정의 벼슬을 받았으나 이듬해에 죽었다.

명종 20년(1565) 처음 지은 사암재는 효종 10년(1659) 고쳐 지은 뒤, 몇 차례의 보수공사를 하였는데 당시 건축의 원형이 잘 남아 있다.