这首诗的前半首从黄昏到深夜，再到次日清晨，着重状景，景中寓情。后半首回忆往事，感慨当前，着重摛情，情与景融。
首两句以兴体起笔，物与人对照鲜明。西林寺在庐山香炉峰西南风景绝佳处。东晋高僧慧远居东林寺，其弟慧永居西林寺，恰巧他们也俗姓贾。无可到庐山，长居西林寺，深念贾岛，也许与此有些渊源。这二句写暮色苍茫，草虫喧叫；作者静坐禅房，沉思不语。一喧一默，一动一静，相映益彰。
三、四句写无可蒲团跌坐，晨夕见闻。在苍苔露冷、菊径风寒的秋夜，蛩声凄切、人不成寐的五更，听觉是最灵敏的。诗人只听得松涛阵阵，秋雨潇潇，一直听到更漏滴残（“彻”）。奇妙的是，天亮开门一看，并未下雨，惟见积得很厚的满庭落叶（“深”）。这真是妙事妙语。宋魏庆之在《诗人玉屑》中说：“唐僧多佳句，其琢句法比物以意，而不指言一物，谓之象外句，如无可上人诗曰‘听雨寒更尽，开门落叶深’，是落叶比雨声也。”所谓“象外句”，“超以象外，得其圜中”（唐司空图《诗品·雄浑》），即跳出字面物象之外，才能得其个中三昧。“听雨寒更彻，开门落叶深”二句，写的是“落叶”，而偏说是“听雨”，意思又不在“听雨”，而是写长夜不眠，怀念贾岛。这个象外句要比直写深入两层。
五、六句转入往事回忆。曩昔，兄弟二人同在京城长安时，贾岛屡试不第，积忧成疾，曾与无可相约，仍回山皈依佛门。一个“病”字，齐下双管。一写贾岛名落孙山的忧愤之病；一写朝廷昏庸，不识人才，国事不可救药之病。两病相加，不能不起泛舟洞庭、归隐渔樵之心。当年无可离京时，贾岛《送无可上人》诗云：“终有烟霞约，天台作近邻。”这应是无可此联诗“昔因京邑病，并起洞庭心”的最好注脚。
事实上贾岛此后并没有赴“烟霞约”。因而无可说：“”“吾兄事”应指贾岛浮沉宦海、迷航不悟之事。岛虽不第而尘心未泯，苦苦干禄，也只做了个长江主簿。这在高蹈逃禅的无可看来，早应遁迹，太“迟回”了，可“吾兄”仍是追逐名禄，实在是自惹烦愁。从“共”字看，无可此刻还是期望贾岛能够同赴“烟霞约”，舍筏登岸的。
后半首的前尘回顾与前半首的眼前即景要协调统一，“落叶”二字当成为前后的关锁支点。首二句写暮色、虫喧、默思、静坐，是为听落叶作势，三、四句写置身于深山、深寺、深秋、深夜之中，金风扫落叶，直似一派狂飚骤雨。这是正面写听落叶。后四句是写听落叶的余波，也是听落叶的襟怀。常言说“落叶归根”，无可深更听落叶，不能不想到他与从兄贾岛的“烟霞约”、“洞庭心”；惜贾岛至今尚浪迹尘俗，叶虽落而不得归根，那么，后四句所表述的情怀就自然地奔泻而出。可以说这首诗实质写的是“听落叶有怀”，通首诗的诗眼就落在“落叶”上。
这首诗前四句写景，而情寓景中；后四句叙事，情亦现事里。全诗写景、叙事、抒情三结合，圆融为一体，结构严整。诗人以兴开篇，物人互映，动静对写，使得对比鲜明。并运用错觉感官，别具情趣，耐人咀嚼。作者无可以此诗代柬寄赠贾岛，表达了他的思念之情和劝归之意。