La leyenda fundacional de Hyangiram se remonta al año 644 d.C., el año 13 del reinado de la reina Seondeok de Silla. Se dice que Wonhyo, quien llegaría a ser uno de los monjes más importantes en la historia del budismo coreano, se encontró con el Bodhisattva de la Misericordia (Avalokiteshvara) en este sitio y fundó allí una ermita llamada Wontongam. El Bodhisattva de la Misericordia es una figura asociada con la compasión, y en el budismo coreano, los sitios de oración dedicados a este bodhisattva suelen ubicarse en acantilados o islas frente al mar; Hyangiram se erige dentro de esa misma tradición.
La pacífica historia de la ermita se vio trastocada durante las invasiones japonesas de Corea (1592–1598). Los monjes guerreros usaron el sitio como base, convirtiéndolo en campo de batalla, y en el proceso se incendió. No fue reconstruido hasta más de un siglo después, en 1715, por el monje Inmuk. En ese momento, el nombre del templo también cambió a Hyangiram — "la ermita que mira hacia el sol" — un nombre que se dice lleva el significado de refugiarse en el Buda Vairocana, asociado con el gran sol. Hoy, Hyangiram se asienta sobre los espectaculares acantilados del monte Geumosan y es conocido como uno de los mejores puntos para ver el amanecer en la costa sur de Corea. Cada Año Nuevo, multitudes llenan el estrecho sendero de montaña para presenciar el primer amanecer del año — un sitio de oración que una vez ardió en guerra se ha convertido en el lugar donde la gente se reúne para recibir la primera luz del año.