号"孤山"的尹善道（1587—1671）是朝鲜时代最具代表性的诗人与文臣之一。1628年（仁祖六年），他在别试文科初试中夺得头名，随后成为凤林大君——即日后的孝宗——的老师。凤林大君即位后，将自己位于京畿道水原的一处宅邸赐给了这位昔日恩师。1668年（显宗九年），尹善道将这座房子迁至今天海南所在的位置，这便是今日的绿雨堂。
这处背靠德音山的宅邸，被认为是韩国数一数二的风水宝地。宅邸后方有一片榧树林，据说每当风吹过这片树林，便会发出如同春雨落下般的声响，"绿雨堂"（意为"绿色春雨之堂"）之名便由此而来。作为海南尹氏渔樵隐派延续五百多年的宗家，这里的孤山遗物展示馆陈列着这个家族传承下来的4600余件文物，其中不仅有尹善道的亲笔手迹，还有他的曾孙尹斗绪所绘的自画像——这幅作品被列为韩国国宝第240号。国王赐给老师的一座房子，历经三代人，逐渐成长为一座珍藏着国宝级文物的宗家。