1778년(정조2년)에 증이조참의 안기종의 5세손 설산재(雪山齋) 안여석(安如石)공이 주도하여 창건하였으며, 수파, 송은, 백산 선생 등 애국지사를 많이 배출한 유서 깊은 건물로서 수많은 인재가 고산재에서 수학 연마하여 문과와 무과에 급제하고 현달한 유학자를 양성하였던 곳이다.

조선시대 후기의 건축물로서 한적한 공간에서 학문을 정진하며 후학을 양성하던 곳으로서 소박하면서도 단아한 공간을 구성하되 격식을 차려 누마루의 풍류를 살리면서도 사치하지는 않은 건물이다.