Se calcula que la construcción de Haenam Eupseong, la muralla de la ciudad, comenzó en 1437 y se completó en gran parte hacia 1469 (primer año del reinado del rey Yejong), cuando se terminó Jeongwollu, la torre de la puerta sur de la fortaleza. Esta construcción coincidió con una campaña más amplia, a escala nacional, impulsada por el rey Sejong para construir murallas alrededor de las ciudades costeras. Durante este período, se esperaba que todos los condados frente al mar construyeran defensas contra las incursiones de piratas japoneses, y Haenam, situado en la punta más meridional del país, no fue una excepción.
Situada en lo que la tradición considera un lugar de excelente feng shui, esta fortaleza produjo, a lo largo de la dinastía Joseon, 192 magistrados locales. Lo llamativo es que la inmensa mayoría de ellos eran oficiales militares y no eruditos civiles. Esto sugiere que Haenam funcionaba no solo como un condado administrativo, sino como una línea de frente en la defensa costera. No es casualidad que, siglos después, antes de la Batalla de Myeongnyang, el almirante Yi Sun-sin trasladara la armada de Joseon a Usuyeong, el puesto de mando naval de la derecha, en este mismo condado —una decisión inseparable de la posición geográfica y militar de Haenam. La fortaleza que pasó desapercibida en tiempos de paz revelaría, finalmente, en la crisis de la invasión japonesa de 1597, la razón de su existencia.