무과에 합격하지 못한 각 고을 무반(武班)들이 봄·가을 2차례 모임을 갖고 활쏘기와 잔치를 베풀며 여러 가지 일들을 의논하던 곳이다.

가락천 서쪽에 처음 지었던 것을 조선 숙종 17년(1691)에 지금 있는 자리로 옮겨 짓고 향사당(鄕射堂)이라 이름지었다. 그 뒤 정조 21년(1797)에 이름을 향사당(鄕社堂)이라고 고쳤다. 조선 전기에는 좌수의 처소로 쓰이다가 고종 16년(1879)에 신성여학교 자리로 이용하였다.

이 건물은 1981년에 동남향이던 방향을 동북향으로 바꾸어 다시 지은 것이다. 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양을 한 팔작지붕으로 꾸몄다.