백회재 고택은 1827년 백회재(百悔齋) 남곤수(南崑壽, 자 : 치묘(穉昴), 1789〜1847)가 건립하였고, 현손인 남효악(南孝岳)이 1923년에 중수하였다고 전해진다. 2002년에 기둥을 비롯해 도리, 보, 서까래 등 부식된 부재를 교체 수리하는 등 보수가 있었다.

국가민속문화유산 「영덕 괴시마을」내에 위치하고 있으며, 정면 4칸, 측면 4칸에 안채, 사랑채, 안대문간채 3동이 ‘ㅁ’자형으로 배열된 살림집이다. 작은 규모에 상류주택 본연의 기능을 함축시킨 평면 및 배치구성과 돌출 배열된 안대문채, 지붕형태 등은 주변의 뜰집과 비교해 지역의 건축문화의 특징과 다양성을 파악할 수 있는 중요한 자료이다.