向日庵的创建传说可以追溯到公元644年，新罗善德女王在位第十三年。日后成为韩国佛教史上最重要僧人之一的元晓，据说曾在此地拜见观音菩萨，并创建了一座名为"圆通庵"的庵堂。 观音菩萨象征慈悲，在韩国佛教传统中，供奉观音的祈祷圣地常常坐落于面朝大海的悬崖或岛屿之上——向日庵正是延续了这一传统。
这座庵堂原本平静的历史，在壬辰战争（1592—1598年）期间被彻底打乱。僧兵曾以此地为据点，使其沦为战场，庵堂也因此焚毁。一百多年后的1715年，僧人印默才将其重建。此时，寺庙也改名为"向日庵"——意为"面向太阳的庵堂"——据说这个名字寄托着皈依大日如来（毗卢遮那佛）之意。 如今，向日庵坐落在金鳌山的奇岩峭壁之上，是韩国南海沿岸著名的日出观赏地之一。每年元旦，前来观看新年第一缕阳光的人群会挤满狭窄的山路——一座曾在战火中焚毁的祈祷圣地，如今成了人们迎接一年中最早那缕阳光的地方。