조선 세조(재위 1455∼1468) 때 좌의정을 지낸 김국광과 김겸광 형제가 부모님이 돌아가신 후 3년간 무덤을 지키던 자리에 세운 암자이다.

성종 6년(1475)년에 세웠으며 그 당시에는 26칸의 건물이었으나 지금은 4칸만 남아있다.

영사암은 집을 오래 보존하기도 어렵고 하인을 머물게 하면서 묘를 지키도록 하는 것도 불편했기 때문에 암자를 겸한 집으로 세웠으며, 승려를 두고 제사를 모시게 하였다.

앞면 4칸·옆면 2칸이며 지붕 옆면이 여덟 팔(八)자 모양인 팔작지붕집이다. 현재의 건물은 고종 12년(1875)에 지은 조선 후기의 건물이며, 현재는 광산 김씨의 사당으로 쓰이고 있다.