영남학파의 거두인 존재 이휘일(1619∼1672)의 유업을 기리기 위하여 세운 서당이다.

이휘일은 조선 후기의 학자이다. 일찍부터 성리학을 깊이 연구하여 사리를 깨달아 독립된 성리학의 한 유파를 이루었다. 또한 예를 존중하여 상제대요와 절목을 정리하여 예로부터 생활화된 폐단을 시정하였다. 저서로는 『존재집』, 『구인략』, 『홍범연의』가 있다.

백호서당은 영조 33년(1757) 지방 유림들이 세웠다. 세월이 흐르는 동안 여러 차례에 걸쳐 수리·보수하였으며, 최근에는 임하댐 건설로 1989년 지금 있는 자리에 옮겨 세웠다.

바위 위에 동남향으로 자리잡은 2층 누각의 건물로, 규모는 앞면 4칸·옆면 2칸 반이다. 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔작지붕으로 꾸몄다. 지붕 처마를 받치기 위해 장식하여 만든 공포는 새 날개 모양의 익공 양식으로 꾸몄다. 가운데 2칸에는 마루를 깔았고, 좌·우로 온돌방을 두었다.