不是我想干的事，也不是爷爷教我的为官之道。”
那时候，杜牧在长安城南有个樊川别墅，是他之前买的，一直没怎么整修。晚年的他，一有空就去樊川别墅，把院子里的杂草拔了，种上菊花和竹子，还盖了个小书房，把家里的万卷书搬了一部分过去。
每天下班，他就换上便服，去樊川别墅待着——要么在书房里读通典，想起爷爷杜佑；要么在院子里喝茶，看着菊花发呆；要么约上几个老朋友，比如李商隐，来家里喝酒写诗，聊的都是以前的事，很少提朝堂上的事。
他还写了首秋夕：“银烛秋光冷画屏，轻罗小扇扑流萤。天阶夜色凉如水，坐看牵牛织女星。”这首诗看起来写的是宫女的孤独，其实是他自己的心境——在朝堂上，他就像那个宫女一样，孤独又失望，只能对着夜色发呆。
有人问他：“你现在当了中书舍人，官这么大，怎么不替朝廷多做点事？”杜牧笑了笑，没说话——他不是不想，是不能，也不想了。晚唐的官场就像一潭烂泥，他再怎么挣扎，也只会越陷越深，不如守着樊川别墅，守着书和朋友，过点清净日子。
公元852年，杜牧病逝于樊川别墅，享年49岁。临终前，他让家人把写的关于削藩的奏折、在地方任职的记录，还有没写完的诗稿整理好，放在书房里，跟爷爷的通典放在一起。他说：“我这辈子，没实现‘削平藩镇’的理想，但我没辜负百姓，也没辜负爷爷的教导，够了。”