曾器重丁若镛的正祖去世后，反对派官员趁机构陷于他，致使他先被投入牢狱，随后被判流放。他的流放生涯从1801年一直持续到1818年，长达18年，其中最后约11年（1808—1818）是在康津的茶山草堂度过的。"茶山草堂"这个名字本身，正是源于这座建筑最初只是一间茅草屋。
颇具讽刺意味的是，这段被剥夺官职、失去一切权力的时期，却成了丁若镛一生中著述最为丰硕的时期。他在此地写下了《牧民心书》（阐述地方官应具备的心态与治理之道）、《经世遗表》（国家制度改革方案）以及《钦钦新书》（刑事案件处理原则），连同其他著作，总计留下多达500余部作品。其中，《牧民心书》此后被广泛用作朝鲜后期地方行政的实用指南，直到今天，仍是韩国讨论公职人员应有操守时最常被引用的经典著作之一。一位彻底被排除在权力之外的知识分子的流放生涯，讽刺地成就了他成为朝鲜最杰出的实学大家。