오괴정은 조선 명종 즉위년(1545)에 오양손(吳梁孫)이 처음 짓고 1922년 후손들이 고친 것이다. 해주오씨로는 처음으로 삼은리에 들어 온 오양손은, 김굉필(1454∼1504)의 문인으로 참봉을 지냈다. 그는 중종 14년(1519) 기묘사화(己卯士禍) 때 조광조 등 많은 선비들이 화를 입는 모습을 보고, 경기도 수원과 남원 목기촌으로 은거하였다가, 중종 16년(1521)에 삼은리로 들어왔다. 이후 그는 이곳에 오괴정을 짓고 시와 술을 벗삼으며, 후학을 지도하는 일에 전념하였다. 1856년에 중창하였고, 그 뒤 1922년에 중건하여 오늘에 이르고 있다.

오괴정이란 이름은 정자주변에 5그루의 괴목을 심었다하여 붙여진 것이다. 괴정(槐鼎)은 전통적으로 영의정, 좌의정, 우의정 등 삼공의 지위를 이르는 말이다. 오괴정은 정면 3칸, 측면 2칸, 팔작지붕으로 되어 있으며, 추녀의 네 귀퉁이 활주 석대 위에 활주를 올려 추녀를 받치고 있다. 가운데 좌우 1칸짜리 방을 두었고 좌우로 툇마루를 두었다. 대청에는 사제당 안처순의 글과 중창기 등 8개의 현판이 걸려 있다.