全詩八句可分為兩層，都圍繞“還”字來寫。前四句寫還山的原因，后四句設想還山后的情景。

　　詩的開頭兩句說山中帶出信來，告訴詩人眼下已是耕種時節。“昨日”，不一定是確指，也可能是前些日子。不說故友捎信而說“山有信”，是一種委婉的說法，同時引出下文“還山”。隱居山中，時而讀書，時而就種，魏晉以來一些隱居以求其志的士人們常常以這種方式生活，故信中以“耕種時”相告，催還之意自在其中。次兩句緊承前兩句，直接點出催還之意。“怪我還山遲”，乃是山中故友即“杜陵叟”“遙傳”來的意思，用“遙傳”，用“怪”，可見山中故友盼歸之切，也看出詩人與他的情誼，故而不可不還。以上四句敘述，說自己當從速還山。

　　以下四句寫還山后的情景，為詩人的設想。“獨向潭上酌，無人林下期”，“潭上“林下”為高冠潭口的環境，“酌”和“期”為隱居之地的生活內容，說“獨”，說“無”，可見詩人別弟還山后的孤獨，其中透露出兄弟之間的深情。這兩句雖是對別后情景的設想，但詩人也許在以往的山間生活中對此早有體驗，因而不忍便與兄弟分別，“還山遲”的原因也許主要在于此。詩的最后兩句仍設想還山后思念弟弟時的情景。“憶汝處”的“處”字，有彼時彼地之意。當詩人還山后想起弟弟的時候，既不能與弟弟同去潭邊飲酒，又不能與弟弟攜手林下同游，只能“閑臥對鸕鶿”，難以排遣的思念，難以割舍的留戀即在這一生活細節中含蓄地表現出來，不忍分別之情也就在其中了。也有人以為這后四句是轉述杜陵叟的話，說杜陵里獨處山間，如何思念詩人，如果這樣理解，那么此篇便主要是寫“杜陵叟”，似與別弟的意義不合。

　　這首詩寫得極為平淡自然，很適于表達山問閑居情趣。而平淡自然中義含不盡之情。詩的前半寫不得不歸，后半寫不忍便歸，把故友之情、兄弟之情都表現得很含蓄，很真切。