1959年，彭老总在吴家花园居住，这一年，他被免去了职务。在这吴家花园，他一住就是五年多的时间。他住的是一处小院子，位置挺好，坐北朝南。 这里的环境很偏僻，周围除了农田以外，零零散散的分布着一些稀疏的农户，来来往往没什么人，倒偶尔能听到一些农家的狗吠声。 他住的居室是一间正房，房间里面的布置也很简单，没有过多的陈设，整个屋子里除了有一套沙发以外，还有就是几张凳子。在那墙上挂着一张北京市的地图，还有一张全国地图。除此之外，别无他物了。 他在这里居住的时候，头两年陪着他的是警卫员景希珍。 彭老总不喜欢那些花花草草，他偏爱一些瓜果蔬菜。于是乎，他就和警卫员在院子里面寻摸了一块空地，开垦出来，种上了庄稼。他种了向日葵，茄子，南瓜，南椒，还有其他的一些瓜果蔬菜。老总和景希珍一起，还在院子里面挖出了一个小池塘，用来养鱼。 在这池塘的南边，他还开垦出了一小块水稻田。 偶尔也会有故人来这吴家花园里面拜访。 这些故人来拜访的时候，经常看到老总在他的方寸之地干着农活，于是乎，这些客人也跟着他一起挽起袖子锄地，或者是卷起裤脚下池塘。 他是在1959年的九月底，搬到了这位于北京西北郊挂甲屯的吴家花园。 这一年的8月19号，是老总从庐山下来的日子。 他有一个侄女，名叫彭钢。 彭钢在一岁多的时候，父亲就牺牲了。 12岁的时候，她被接到北京和伯父住在一起。在老总的几个侄子侄女当中，彭钢也是和他生活时间最久的一个，也是感情最深的一个后辈。 1959年，伯父从庐山下来后，刚到北京的机场，和以前一样，彭钢都会去机场迎接自己的伯父。 这一年，彭钢才结束了考大学。 她考上了第一志愿，跑来机场就是想第一时间告诉伯父这个好消息。 但是，在机场见到伯父的时候，她也隐约感觉到伯父今天似乎心情不是很好。 两人坐上车以后，伯父简单的问了侄女考大学的情况，得知侄女考上了第一志愿，老总的脸上出现了笑意，但过后，这一路上两人就再也没有说话了，一路上都很沉默。 彭钢考完试以后，就回老家待了一段时间，这次回北京，她还特意从老家带来了一个大南瓜。 这天晚上，两人的晚饭，吃的就是从老家带来的大南瓜做的一顿南瓜饭。 侄女也不知道发生了什么，只晓得这次晚饭吃得格外的沉默。 没过多久，彭钢就去上大学了。 1962年，正在上大学的彭钢办理了休学，来到了吴家花园和伯父生活在一起。 老总和他的侄女在吴家花园里面度过的这几年闲暇时光，也是彭钢记忆里最为深刻的一段回忆。
