扫叶楼坐落在山的南麓，它是明末清初着名画家、诗人龚贤的故居。
龚贤，是金陵八家之一，擅长山水画，长期在南京从事绘画创作活动。清军攻占南京后，他悲愤出走，在海安、扬州等地飘泊十年左右，之后又回到了南京，在清凉山定居，并在屋旁的半亩空地上，栽花种草，人称“半亩园”。
龚贤曾经自画小像，画中他穿着僧服，手持扫帚，作扫叶状。他将此画悬在楼上，“扫叶楼”因此得名。
迎面壁间嵌有现代书法家林散之的“龚贤故居”石刻，楼下正中，悬挂着新绘扫叶楼僧像和新书旧联，联的内容是：
老不白头因水好;
冬犹赤足为师高。
对联与扫叶楼僧像融为一体。上联道出一个传说，在扫叶楼附近有座清凉寺，院落清静，环境古雅，后院有一口南唐保大三年(公元945年)的义井，名叫“还阳井”。相传寺中老僧终生饮这口井的井水，发须至老不白。
下联描绘了画面上扫叶僧人，手持扫帚，赤着脚，昂然屹立在寒风落叶之中，怒视苍天的情景，表现了他不愿做大清顺民的凛然正气。