静庵赵光祖在1519年己卯士祸爆发之初，本被下令赐死。然而在领议政郑光弼的恳切庇护下，他的刑罚由死刑减为流放绫州。逃过死刑，本应是值得宽慰的结果，但这份宽慰未能持续太久。赵光祖最终还是在这处流放之地被赐死。
148年后的1667年（显宗八年），绫州牧使闵汝亮为追念赵光祖的流放，立起了谪庐遗墟碑。这座石碑总高295厘米，龟趺、碑身、螭首俱全，形制完整，但龟趺并非精雕细琢，而是仅以接近天然岩石的形态简单勾勒出龟形轮廓，显得质朴无华。碑身正面以大字阴刻"静庵赵光祖先生谪庐遗墟追慕碑"，背面则记录了流放的始末。碑文由日后成为老论派领袖的宋时烈撰写，正面文字由闵维重书写，背面文字则出自宋浚吉之手。一位曾一度逃过死亡威胁的政治家的故事，最终化作一座石碑，立在他咽下最后一口气的那片土地上。