静庵・趙光祖は1519年に己卯士禍が起こると、当初は賜死、すなわち死を命じられた。しかし領議政・鄭光弼の懇切な庇護によって、彼は死刑の代わりに綾州への流刑へと減刑された。処刑の危機を免れたという点では安堵すべき結果だったが、この安堵は長くは続かなかった。趙光祖は結局、この綾州の流刑地で賜死された。
それから148年が経った1667年(顕宗8年)、綾州牧使の閔汝任は趙光祖の流刑を追悼するため、謫廬遺墟碑を建てた。全体の高さ295cmに及ぶこの碑は、亀趺・碑身・螭首をすべて備えた完形だが、亀趺は精巧に彫られたものではなく、自然石に近い岩でかろうじて形だけを整えた、素朴な姿をしている。碑身の正面には「静庵趙光祖先生謫廬遺墟追慕碑」という文字が大きく陰刻され、背面には流刑の経緯が記されている。碑文は、後に老論の重鎮となる宋時烈が撰し、正面の文字は閔維重が、背面の文字は宋浚吉が書いた。一度は死の危機を免れた一人の政治家の物語は、結局、彼が息を引き取った場所に建てられた一基の碑として残ることになったのである。