정암 조광조는 1519년 기묘사화가 일어나자 처음에는 사사, 즉 죽음을 명받았다. 그러나 영의정 정광필이 간곡히 비호에 나선 끝에, 그는 사형 대신 능주로의 유배형으로 감형됐다. 처형의 위기를 넘겼다는 점에서는 안도할 만한 결과였지만, 이 안도는 오래가지 못했다. 조광조는 결국 이곳 능주 유배지에서 사사됐다.
그로부터 148년이 지난 1667년(현종 8), 능주목사 민여조는 조광조의 유배를 추모하기 위해 적려유허비를 세웠다. 전체 높이 295cm에 이르는 이 비석은 귀부와 비신, 이수를 모두 갖춘 완형이지만, 귀부는 정교하게 다듬어진 것이 아니라 자연석에 가까운 암석으로 형태만 갖춘 소박한 모습이다. 비신 전면에는 "정암조광조선생적려유허추모비"라는 글자가 큰 글씨로 음각돼 있고, 후면에는 유배의 내력이 기록돼 있다. 비문은 훗날 노론의 거두가 되는 송시열이 지었고, 전면 글씨는 민유중이, 후면 글씨는 송준길이 썼다. 죽음의 위기를 한 번 넘겼던 한 정치인의 이야기가, 결국 그가 숨을 거둔 자리에 세워진 비석 하나로 남게 된 것이다.