용산서당은 오촌 홍성해, 둔암 홍대해, 우봉 홍기범 등 삼현이 은거하여 학문을 연마하던 곳에 세운 서당이다. 이 중 오촌 홍성해는 임진왜란과 정유재란 때 의병을 모아 고을을 사수한 공이 있다. 본래는 '용산재'라는 재실이었지만 뒤에 서당으로 바꿨다. 이 서당은 1800년대의 건축물의 특징을 잘 나타내고 있는 건축물로서 가치가 있다.

건물구조는 정면 4칸,·측면 2칸 규모이며, 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔작지붕이다. 구조체의 중요 부재들은 오래된 형상을 지니고 있는데, 외진주,·내진주,·대들보 등 여러 곳에 구멍이 나 있는데 곳곳이 구멍을 메운 형태이다. 가구는 대들보 위 중, 종도리 가구에서 다소 오래된 결구 수법을 보이고 있다. 방 천장은 좌우방 모두 우물반자를 하고 있고, 대청 뒷벽은 판장벽 대신 회벽으로 구성하였다.