令人想不到的是，張佩綸在仕途上的命運，並未像外人估計的那樣，就此可東山再起。
李鴻章的長子李經方不知何故，與這個妹夫水火不能相容，買通了幾個御史，蜂起彈劾張佩綸。大意是，張佩綸遣戍釋放後，不安本分，又在李鴻章署中干預公事，招致物議。隨後就有聖旨下來，命李鴻章把張佩綸攆回原籍去。
那時太平天國已經敗亡，戰亂後的南京房產很便宜，不少閒官都在那裡置業。李鴻章便讓女兒、女婿搬到南京去住，還給了女兒一份陪嫁。
這份陪嫁，可不是平民之家的幾個箱籠包袱，而是田地、房產和古董無數。總量之巨，無法估計，我們只知30年後，分到張愛玲父親名下的財產，計有花園洋房8處及安徽、河北、天津的大宗田產。
張佩綸在南京買下的房子，是一處叫“張侯府”的老宅子，位置大致在現在南京白下路東段的南京海運學校一帶。房子共有3幢，張佩綸將其中的東樓命名為繡花樓，專為李菊耦住，當地人都習慣稱它“小姐樓”。——後來，胡蘭成在與張愛玲戀愛時，還專門去看過這地方。
此後，甲午戰爭爆發，北洋水師又遭敗績，大清國被迫簽下屈辱的《馬關條約》。李鴻章因之聲名狼藉，甚至被國人以民族罪人視之。張佩綸大概有感於此，自此絕足官場，再不要那頂官帽子。
就在那一年，李鴻章油盡燈枯，在“三百年來傷國亂”的悲哀中去世了。
張佩綸晚年過得相當頹廢，只以酗酒解愁消磨殘生。老岳父死後一年多，寂寞中的張佩綸也追隨而去了。
他遺下一子一女，大的7歲，小的才2歲。男孩就是張愛玲的父親，女孩就是張愛玲的姑姑。
可憐李菊耦37歲就守寡，終日閉門教子，心有慼慼，不久染上肺病，於1912年病逝於上海。
張佩綸的子女輩，對他的印象都不十分好。女兒張茂淵就是張愛玲那位大名鼎鼎的姑姑。後來曾對張愛玲說，這樁老少婚姻，“我想奶奶是不願意的！”
張愛玲在讀中學期間，弟弟張子靜有一次對她說：“爺爺名字叫張佩綸。”
她馬上問：“是哪個佩？哪個綸？”
弟弟告訴了她，她覺得很詫異：這名字，怎麼有點女性化？
又有一次，弟弟給她看歷史小說《孽海花》，撂下一句：“說是爺爺在裡頭。”
愛玲翻開書，找來找去，找到了莊侖樵。讀完以後大為興奮，跑去問父親，父親只是“一味闢謠”，跑去問姑姑，姑姑說：“問這些幹什麼？現在不興這些了。我們是叫沒辦法，都受夠了……”說到這裡，聲音低下去，近似喃喃自語，而後又說，“到了你們這一代，該往前看了”。
“受夠了”指的什麼？官僚大家庭的生活，還不是陳腐一路，當事人都受夠了，何勞今天的人替他們榮耀？
愛玲覺得不好意思，連忙辯解：“我不過是因為看了那本小說好奇。”
姑姑見愛玲執著，就講了一點奶奶李菊耦的事。兩位老人死的時候，姑姑年紀還小，所以提到爺爺張佩綸，她便斷然搖頭：“爺爺一點都記不得了。”
愛玲又去問父親，父親只是敷衍她說：“爺爺有全集在這裡，自己去看好了。”於是愛玲就抱了一大堆書來看。
張愛玲的先輩，雖很輝煌，且從李鴻章這一脈來說，也可稱貴族。但是，外曾祖父李鴻章和祖父張佩綸都是在歷史上有過汙名的，所以，張愛玲自小就和她的“貴族身世”自覺保持著距離。在她成名後，文化界曾有一陣掀起過《孽海花》人物原型的考據熱，她完全不參與，對一班前清遺少及名士派文人也敬而遠之。
她不會傻到處處以這些晦暗的東西來炫耀。
但是，她與這些譭譽參半的先祖，畢竟