성주 이씨들의 선조 가운데 나라에 공헌하고 사회에 본보기가 될만한 13분의 영정을 모시고 제사지내는 건물이다.

지은 시기는 확실치 않으나 선조 14년(1581), 당시 성주 이씨의 후손인 이현배가 성주목사로 부임해오면서 이곳을 고쳐 지었다. 원래 월항면 인촌리 이장경의 묘 앞에 있었는데 그의 묘를 이장하면서 지금 있는 자리로 옮겼다. 그 뒤 숙종 6년(1680) 임금이 ‘안산서원’이란 이름을 내려 주었고, 나라에 공를 세운 조상 22분의 영정을 모시게 되었다. 그러나 임진왜란 등으로 소실되어 현재는 13분을 모시고 있다. 고종 6년(1868) 흥선대원군의 서원철폐령을 피하기 위해 이름을 ‘안산영당’으로 고쳤다.

앞면 3칸·옆면 2칸 규모의 안산영당과 안산재, 삼문이 있고 후대에 세운 객사, 관리사 건물이 벽을 사이에 두고 있다.