경산 이씨의 선조인 이감·이번·이흥문을 추모하기 위해 후손인 이주, 이륜이 현종 2년(1661)에 세운 건물이다.

이감은 지방 관직 중 하나인 부윤을 지냈고 이번은 양양부사, 이흥문은 대사헌을 역임하였다.

백인당이라는 이름은 ‘참는 것이 곧 덕이요, 참음으로써 인을 이룰 수 있다.’는 성현의 말씀을 본받아 종친의 화목을 이루자는 뜻으로 지었다.

마을 왼편 각산 기슭에 있는 이 건물은 화강암으로 만든 기단 위에 세웠다. 앞면 4칸·옆면 2칸 규모로, 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔작지붕이다. 가운데에는 마루를 배치하고 양 옆에는 온돌방을 두었다. 온돌방 앞쪽으로 마루를 잇고 끝에는 난간을 둘렀으나 이것은 나중에 고친 듯하다.