도리사는 신라에 불교가 처음 전해질 당시 전설에 나오는 아도(阿度)화상과 관련이 있는 절이다. 아도가 불교를 전파하기 위하여 서라벌에 갔다 돌아오는 길에 한겨울인데도 복숭아꽃과 오얏꽃이 만발하여 그곳에 절을 짓고 도리사라 하였다 한다. 정확하게 언제 세워졌는지 알 수 없으나 신라 최초의 절이라고 전한다.

이 석탑은 대웅전 앞뜰에 있으며, 전체적으로 5개층을 이루고 있는데, 맨 아래층은 탑을 받치는 역할을 하는 기단(基壇)으로 여겨진다. 위의 2개 층은 탑의 중심부분인 탑신부(塔身部)이다. 탑신부의 1층과 2층 몸돌은 작은 정사각형의 돌을 2∼3단으로 쌓아 마치 벽돌을 쌓아 올린 것처럼 보인다. 지붕돌 역시 벽돌탑을 모방한 석탑처럼 층단을 이루고 있다. 주목되는 점은 각각 한면에 문틀을 돋을새김한 널돌이 끼워져 있어 문짝모양을 표현한 듯하다. 맨 위의 2개층은 탑의 머리장식받침인 노반(露盤)이 포개진 것인지, 아니면 위층만 노반이고 아래층은 탑신부로 보아야 하는지가 분명하지 않다.

일반적인 탑들과는 다른 특이한 형태로 몸돌과 지붕돌 윗부분의 층단구성이 모전석탑처럼 보인다. 이처럼 희귀한 모습을 한 탑은 유례를 찾아보기 힘들며, 고려시대에 만들어졌을 것으로 짐작하고 있다.