충열공 이대원(1566∼1587)과 충장공 정운(1543∼1592)을 모신 사당이다.

이대원은 선조 20년(1587) 녹도만호가 되어 남해안에 출몰하는 왜구를 대파하였고, 다시 흥양에 왜구가 침입하자 맞써 싸우다가 손죽도 해상에서 순절하였다. 이에 선조는 사당을 지어 모시게 했는데 이것이 쌍충사의 전신이다.

정운은 선조 24년(1591) 녹도만호로 부임하여 임진왜란이 일어나자 이순신 장군과 함께 목포·당포·한산해전 등에서 용감히 싸우다 부산 몰운대에서 순절하였다. 선조 25년(1592) 이순신 장군의 청으로 이대원과 함께 사당에 모시게 되었다.

정유재란으로 불타 버린 것을 숙종 7년(1681) 새로 짓고, 2년 뒤 쌍충사로 사액되었다. 영조 11년(1735)에 보수하였고 고종 5년(1868) 흥선대원군의 서원철폐령으로 폐쇄되었다가 1922년 고흥향교 선비들이 다시 지었다. 지금 있는 건물은 1942년 일본인들이 폐허로 만든 것을 1957년 다시 고쳐 지은 것이다.

건물 배치는 맨 위쪽에 앞면 2칸·옆면 1칸 반의 사당이 있고 아래쪽과 왼쪽에는 앞면 5칸·옆면 3칸 규모의 강당이 있다. 오른쪽 밑으로는 강당과 마주보게 관리사를 배치하였다.