向日庵の創建伝説は、644年、新羅の善徳女王13年にまでさかのぼる。後に韓国仏教史上もっとも重要な僧の一人となる元暁が、この地で観世音菩薩（アヴァローキテーシュヴァラ）に出会い、「円通庵」という名の庵を建てたと伝えられている。 観世音菩薩は慈悲を象徴する菩薩であり、韓国仏教では特に海に面した断崖や島に観音信仰の祈祷所が多く置かれる伝統がある。向日庵もまさにその伝統の上に位置している。
この庵の穏やかな歴史は、文禄・慶長の役（1592〜1598年）によって大きく揺らいだ。僧兵たちがこの地を拠点としたことで戦場と化し、その過程で焼失してしまった。再建されたのは100年以上を経た1715年、僧・印黙によってである。この時、寺の名前も「太陽に向かう庵」を意味する「向日庵」に改められた。この名には、大日如来とされる毘盧遮那仏に帰依するという意味が込められているとされる。 今日、向日庵は金鰲山の奇岩絶壁の上に位置し、南海沿岸屈指の日の出の名所として知られている。毎年元日には、初日の出を見ようとする人波が狭い山道を埋め尽くす——戦火に焼かれた祈りの場が、今では一年で最初の陽光を最初に迎える場所となっている。