五代末年，此處是吳越國廣陵王錢元璙近戚中吳軍節(jié)度使孫承佑別墅一隅，后漸廢。北宋時系滄浪亭的一部分，南宋時韓世忠居滄浪亭時，辟其址為宅院，增修擴建，成為“韓園”宅邸。清乾隆三十二年（1767年），巡撫沈德潛在此重筑園林，名為“近山林”。再取“仁者樂山，智者樂水”之意，又名“樂園”。