南园又称“周府庵”,创建于明代,寺中老僧退居于此,因而又称“南退居”。当时规模宏大,成为寺对面一大景观。可惜明末毁于兵火。清朝又进行过整修。1928年,南园的殿堂建筑大部毁于石友三兵火。现尚存—段砖砌的围墙,成为南园旧址上的一座标志。现南园内的建筑仅存白衣殿一座。此殿原为面阔三间的硬山式建筑,现为歇山式建筑。殿内原供白衣观音菩萨像一尊,现已移至常住院白衣殿中供奉。