서산 숭덕사는 조선 태조 넷째 아들인 회안대군의 위패를 모신 사당이다.

회안대군은 조선 전기의 왕자로 이름은 방간이다. 조선왕조가 시작된 태조 1년(1392)에 회안군으로 봉해졌으며 태종 1년(1401)에 회안대군이 되었다. 제1차 왕자의 난에 정안군 방원을 도왔으며, 그 이듬해 제2차 왕자의 난이 실패하자 토산으로 유배되었다. 세종 1년(1419) 천명을 누리다가 홍주에서 죽었으며 시호는 양희(良僖)이다.

처음에는 회안대군의 위패를 부인 밀양 황씨의 묘 옆에 모셨으나 선조 40년(1607)에 왕명으로 부석면 강당리에 건물을 지어 모시고 숭덕사라 불렀다. 고종 1년(1864) 지금 있는 자리로 옮겨왔는데 건물 규모는 앞면 3칸·옆면 1칸 규모로 一자형 평면을 갖추고 있다.