충헌사는 충헌공(忠憲公) 양기 선생을 비롯해 양치, 양희지, 양응춘, 양훤을 배향한 사당으로 양기 선생의 영정을 안치하고 있으며, 인조 4년(1626)에 건립되었다.

배향인물 중 양기 선생은 중국 홍능인으로 고려 말에 노국대장공주(공민왕 왕비)를 모시고 우리나라에 왔다가 당시 조선인의 궁핍한 생활을 보고 돌아가 고려의 조공제도를 폐지케 하였으며, 후일 우리나라에 귀화하여 상당백의 작위와 청주 양씨의 시조가 되었다.

충헌사는 1686년 종손이 살던 송화로부터 노성으로 이주해 오면서 양기 선생의 영정과 위패를 모신 후 수차에 걸쳐 중수한 것으로 정면 3칸 측면 1칸의 전통 한옥 건물이다. 강당을 겸한 경모재(敬慕齋)는 정면 4칸, 측면 2칸의 한식 와가 팔작 건물로 1960년대까지 강학 장소로 이용되었다.