임피향교의 입구에 위치하고 있는 건물로 임피유생들이 역대 수령들의 위패를 모시고 1년에 한 차례 제사를 지내는 곳이다. 유생들은 이곳에 모여 여가를 보내며 시와 노래를 즐기기도 한다. 지어진 연대는 중앙마루에 쓰여진 기록으로 보아 철종 6년(1855)임을 알 수 있다.

건물은 앞면 6칸·옆면 3칸으로 지붕 옆면이 여덟 팔(八)자 모양인 팔작지붕집이다. 건물의 디딤돌로 사용되는 돌 중에 탑의 일부분으로 쓰이던 부재 2개가 발견되고 있으며, 향교의 부속건물 중에서도 주춧돌로 옥개석 1개가 사용되었다. 또한 진평호씨의 집에서도 옥개석의 일부를 주춧돌로 사용하고 있다. 이것으로 보아『임피읍지』에 5층 석탑과 4층 석탑이 있었으나 지금은 없다는 기록을 확인해 주고 있다.

정원에는 2구의 문인석이 있는데 일반적인 형태와 거의 비슷하나 눈 부분을 튀어나오게 조각하여 해학적인 느낌을 준다.