La tierra que hoy se conoce como Yeongam se llamaba Wolla-gun bajo el reino de Baekje. En 757 (el decimosexto año del reinado del rey Gyeongdeok de Silla Unificado), el rey emprendió un vasto proyecto para estandarizar los nombres de lugares en todo el país dándoles forma sino-coreana, y en el curso de ese proyecto, Wolla-gun fue renombrado Yeongam-gun, un nombre que significa "roca sagrada". Este nombre sirvió después como la denominación principal de la región durante un largo período.
El nombre sufrió un giro más durante la dinastía Goryeo. En 995 (el decimocuarto año del reinado del rey Seongjong), la región fue elevada a Nangju, y se estableció allí una oficina administrativa y militar regional llamada Annam Dohobu. Dado que un dohobu tenía un rango superior al de un condado o distrito ordinario, esto sugiere que la posición de Nangju durante este período era considerable. Pero en 1018 (el noveno año del reinado del rey Hyeonjong), el Annam Dohobu fue trasladado a Jeonju, y al perder su oficina de gobierno, la región volvió a su nombre anterior, Yeongam-gun. Este caso, en el que el nombre y el estatus de una región subieron y bajaron junto con la ubicación de una oficina de gobierno, ilustra que el nombre de un lugar no es simplemente una etiqueta, sino que también puede conservar las huellas del poder político.