到了1960年1月20日，艾森豪威爾還有一年的任期。那天早上，他對秘書安·懷特曼談到今後的打算。他說，他計劃搞點寫作，不知道懷特曼是否願意到葛底斯堡去，在那裡搞起一個辦公室，以便他在那裡安心寫他在白宮期間的回憶錄。
懷特曼在她的日記中寫道："我說，我願意做他要我去做的任何事情。艾森豪威爾說，他曾認為，他心甘情願地為國家犧牲了八年他的生活，他并不認為我會在他成了平民後還樂意這樣做。我說，這是他所曾說過的最愚蠢的話，我對他的忠誠，十倍于對我的國家的獻身。他承認可能是如此。"
艾森豪威爾已經把他的檔案都交給政府，以便最後可以在艾森豪威爾圖書館内分類處理，以供學者們使用。
艾森豪威爾圖書館是用堪薩斯州阿比倫的艾森豪威爾基金會的私人資金建的。然而，懷特曼儲存的大批材料，其中包括大部分的私人信件，電話記錄摘要，内閣會議記錄等等，将首先送到葛底斯堡去，艾森豪威爾将在那裡用這些檔案來寫他的回憶錄。他的兒子約翰計劃在1961年1月20日辭去他的職務，同意擔任檔案保管員和幫助他的父親寫回憶錄。
在那個期間，1960年初，艾森豪威爾主要考慮的是他的退休。然而，幾乎所有其他的美國政治家都在考慮即将舉行的總統選舉。
1960年初，艾森豪威爾拟訂了禁止核試驗條約，繼之以進行某種"實際的裁軍"。這是他在總統任期内，最後工作的"主要目标"，以便退休後，在人們心目中留下"美好的印象"。
5月14日，艾森豪威爾帶着他的計劃，前赴巴黎參加首腦會議。但他一抵達法國首都就遇到赫魯曉夫的挑戰。這位蘇聯部長會議主席在一項書面聲明中說，如果艾森豪威爾不公開為美國 U -2飛機侵犯蘇聯領空公開道歉，并保證今後不再發生這樣的事件，蘇聯将不參加首腦會議。對此，艾氏十分尴尬。
第二天，5月16日，艾森豪威爾與麥克米倫共進早餐。他對英國首相說："在我們使用衛星之前，美國空軍将不再進行誤入蘇境的這類飛行。"麥克米倫說，赫魯曉夫對 U -2飛機激動不安。他認為澄清這一點，在與蘇聯部長會議主席讨論時，可能具有"很大價值"。
艾氏本想在會上首先發言，說明美國的态度和對裁軍的立場，但是，會議的東道主戴高樂剛剛宣布開會，赫魯曉夫就站起來要求發言。赫氏發表長篇激烈演說，批評美國政府和艾森豪威爾的戰争政策。他越說越激動，聲音也越來越大。戴高樂打斷他的話，轉身對蘇聯的翻譯說："這間房子的音響效果極好，我們都能聽見部長會議主席的話，他沒有必要提高他的嗓門。"待譯員翻譯後，赫魯曉夫向戴高樂憤憤地瞪了一眼，于是壓低聲音繼續發言。
"赫魯曉夫很快激動得甚至更加厲害。他指指他的頭上喊道："有人飛越我的頭頂！"戴高樂再次打斷他的話說，"也有人飛越過我的頭頂。"赫魯曉夫不相信地問道："是您的美國盟友嗎？"戴高樂回答："是您。昨天就在您離開莫斯科前，您為了給我們留下深刻印象而發射的那顆衛星，沒有得到我的允許，飛越法國上空18次。我怎能知道您在衛星上沒有照相機，拍攝我們國家的相片？"艾森豪威爾向着為他解圍的戴高樂咧着嘴笑笑。這時，赫魯曉夫雙手舉過頭說："上帝給我作證，我的手是幹淨的。您難道以為我會做這樣的事情？"赫魯曉夫最後發表一項聲明說，艾森豪威爾不再在蘇聯受到歡迎，以此結束他的發言。
艾森豪威爾随後發言。他說，赫魯曉夫沒有必要這樣走極端，取消他的邀請；他到巴黎來是希望參加嚴肅的讨論，他希望會議現在進行實質性問題的讨論。赫魯曉夫和蘇聯代表團憤然走出會議室。結果會議不歡而散。這是艾氏在白宮期間最後一次參加首腦會議，這是一次處境狼狽而最沒有成果的會議。
1960年聖誕節後的那天，艾森豪威爾寫信給他的一幫人和其他幾個親密的朋友，信的内容是相同的。他開頭寫道："在我整個一生中，直到我從第二次大戰作為一名'重要人物'歸國為止，我的同代人都叫我'艾克'。"他繼續寫道，"現在我要求，作為我的權利，你們從1961年1月21日起，用我的外号稱呼我。我不再想被剝奪我的其他朋友們所享有的特權。"
當然，沒有哪一位前任總統隻會成為一名普通公民。艾森豪威爾已經收到雪片般的邀請，向這個俱樂部或那一個慈善機構，向這個團體或那所大學發表演講，提出的酬金是1000美元或者更多。美國的一些出版商們，考慮到艾森豪威爾繼續享有盛名，考慮到他剛剛上司度過的"動亂年代",考慮到《遠征歐陸》一書所獲得的巨大成功，都想出版他的白宮回憶錄。艾森豪威爾決定交給"雙日出版社"，主要是因為他和該社社長格·布萊克的情誼。他沒有與出版社簽訂合同，但是與布萊克達成一項非正式的安排，相信布萊克會公平地，甚至大方地對待他。沒有像《遠征歐陸》一書那樣的一攬子交易，這次艾森豪威爾可以經常地收取版稅。
作為一位前總統，艾森豪威爾每年能得2.5萬美元終身俸，加上5萬美元辦公費，這比他作為五星上将的收入高得多。特别法案讓他重新得到了軍銜，國會規定他應當得到總統的全部終身俸和津貼。還有，他保留德賴中士和莫内中士，以及舒爾茨上校作為他的助手，他們的報酬從5萬美元的辦公費中扣除。
1961年1月17日晚上8時30分，艾森豪威爾前往電台和電視台發表他的告别演說。他的主題是冷戰。他談到戰争與和平，談到"警察國家和自由"。他宣稱："我們面臨着全球範圍的無神論性質的、目的冷酷無情和手段陰險的敵對意識形态。"他說它造成的危險是"無窮的"。這意味着很多危機，以及随之而來的許多呼籲，通過花費不斷增加的大量金錢來尋找一個"神奇的解決辦法"。艾森豪威爾說，一切這類建議都"必須根據．....．在所付出的代價與希望得到的好處之間保持平衡的必要性．....．來衡量"。
艾森豪威爾最後表示歉意地說："裁軍．....．仍然是迫切需要的．....．由于這一需要是這樣尖銳和明顯，我承認我是以一種肯定的失望感覺，卸下我在這方面的職責。作為一個目睹戰争恐怖和連綿不斷的哀傷的人﹣﹣作為一個懂得另一場戰争會徹底摧毀數千年來如此緩慢和艱難地建立起來的文明的人﹣﹣我希望今晚我可以說，持久的和平已經在望。"
他結束他的演說時祈求，"各國人民将得以在互相尊重和友愛的限制力量所保證的和平中，一起生活。"
新總統就職的日子來臨了。艾森豪威爾不可避免地要離開白宮了。
1月20日前幾天，亨利·裡斯頓來到橢圓形辦公室，遞交國家目标委員會的一份報告。這是艾森豪威爾在一年前指定要的。如今，這份報告已經過時，任何人對它都不感興趣，但是必須收下來，拍張照片。在進行這些工作時，艾森豪威爾聽到賓夕法尼亞大街對面鐵錘的敲打聲，在那裡正在修建一個總統正式就職的檢閱台。艾森豪威爾說："你看，亨利，就像在死牢中看着他們支起絞刑架。"
1月20日早晨，天下起大雪，總統的就職典禮就在這一天舉行了。艾森豪威爾在上午的大部分時間裡，靠着空空的保險櫃，與安·懷特曼回憶往事。仆人們排成一行，艾森豪威爾和瑪咪從他們面前走過，向他們一一道别。許多人的臉上挂着淚水。肯尼迪一家，約翰遜一家，和民主黨一小批陪同人員來作簡短的拜會。中午時分，在大法官厄爾·沃倫的面前，迄當時為止，擔任總統的年齡最大的人，讓位給當選的最年輕的人。儀式舉行過後，當人們全部注意力都集中在肯尼迪夫婦身上時，艾森豪威爾夫婦通過邊門悄悄地退下。然後，動身赴葛底斯堡，沿着他們非常熟悉的道路回家，回到農場去。
經曆了戰争的年代，經過在華盛頓擔任參謀長聯席會議主席，在紐約哥倫比亞大學當校長，在巴黎任盟軍最高統帥和擔任了八年總統之後，艾森豪威爾想象着他的退休生活。他曾有過各種各樣的想法：在得克薩斯購買一個牧場，在威斯康星置一座避暑莊園，遊山玩水，與瑪咪談古論今，在小溪邊垂釣．....．他堅持認為，在為國效勞50年後，他已心力交瘁，得休息休息。不再參加會議，不再作演講報告，不再參與國家緊急問題的處理，可以在青山綠水間撰寫自己的回憶錄。
艾森豪威爾的弗農山就是他在葛底斯堡的農場。他和瑪咪都很喜歡那座農場。除了冬季外，該處氣候溫和宜人，位置也很理想。他們住在鄉間，但離華盛頓和紐約都很近，可以不時上那兒去玩，朋友們周末來訪也很友善。農場位于古戰場的邊緣，增強了使人成為美國曆史延續的一部分感覺，還使艾森豪威爾得以對葛底斯堡戰役當時"如果變更打法的結局"，作無休止的遐想。
農場占地246英畝。此外，艾森豪威爾還租了305英畝。他買下了部分的土地，因為他喜歡在他的祖先們在18世紀安家落戶的地方居住，因為他很高興有機會使那裡的土地恢複昔日的富饒肥沃。他輪種莊稼和牧草，主要種植玉米、燕麥、大豆和高粱。他利用這些草料在冬季飼養百把頭良種安古斯牛，這是他主要的現金收入。他還養馬，供孫兒們馳騁，養狗給他們逗樂，還飼養了14頭荷爾斯泰因乳牛來喂他的安古斯牛犢。宅第從外表看來是移民時代的式樣，但内部裝置卻完全是現代化的。玻璃走廊是閱讀和作畫的最佳場所。在整個總統任期内，艾森豪威爾很少白天見到瑪咪；在葛底斯堡，艾森豪威爾長時間地陪伴瑪咪待在向陽的走廊裡俯視綠油油的田野。
經過半年的"心情平靜"之後，艾森豪威爾就在他的兒子約翰、"雙日出版社"進階編輯塞缪爾· S ·沃恩的幫助下，開始撰寫《白宮歲月》的回憶錄。盡管有人幫助，寫一部總統回憶錄要比寫《遠征歐陸》困難得多。《遠征歐陸》寫的是取得勝利的、結局美滿的故事；但是，白宮回憶錄中所寫到的問題還沒有解決，結局如何還無人能預料，這就給他的工作增加了一定的難度。經過四年的努力，兩卷的《白宮歲月》方才完成。第一卷于1963年11月9日出版，副标題為《授權改革》;1965年出版第二卷，副标題為《開展和平運動》。著名政治評論家詹姆士·賴斯頓在《紐約時報》上寫了一篇贊揚的評論。"雙日出版社"第一版印了125000冊，開始銷路很好。但在《授權改革》出版兩個星期後，肯尼迪總統遇刺身亡，這一事件壓倒了公衆對艾氏政績的興趣，《授權改革》銷路下降。《開展和平運動》則從未達到《遠征歐陸》的銷售額。繼《白宮歲月》之後，艾森豪威爾又撰寫了自傳體的《悠閑的話；對朋友們談家常》，這部書發行量較大。《紐約時報》評論說："《悠閑的話》歎為觀止地把我們這個時代裡最持久、最受人歡迎的英雄之一的形象寫得有血有肉，栩栩如生。"
随着年歲的增長，艾森豪威爾的身體越來越不濟了。在他70歲生日那天，最近被提升為陸軍參謀長的威斯特摩蘭前來探望。艾森豪威爾祝賀威斯特摩蘭的擢升，并敦促他要照顧好陸軍。當天下午，陸軍軍樂隊在艾森豪威爾的房間外面，為他演奏了一首小夜曲。艾森豪威爾坐着輪椅到窗邊，以微笑和揮動一面小小的五星旗表示答謝。很明顯，他的身體極度虛弱，每個人見了都熱淚盈眶。然而，他很平靜，也很愉快。他對兒子約翰說，他放心了，因為議會已經通過了為前總統遺孀提供終生特工服務的法律。"今年八月，"他說，"在我可能去見上帝時，我唯一放心不下的就是瑪咪。至少這項法律使我在這方面放心了。"
當死亡日益臨近時，他越來越想着家裡人。1968年的感恩節，瑪咪作了安排，要家裡每個人和他一起共進火雞宴。他的兒媳婦看他的樣子感到兇多吉少。"艾克蓋着陸軍軍用單被，形容枯槁。死灰般的臉上，藍色的眼睛使人吃驚。"
1969年3月24日，艾森豪威爾心髒病嚴重發作。他心髒在衰竭下去。醫生開始為他的鼻孔插管輸送氧氣。他意識到自己的生命行将結束。他囑咐約翰"要好好照料媽媽"。到了3月28日，病情進一步惡化，但艾克仍在拼命掙紮，他叫喊着："把百頁窗給拉上！"光線刺激他的眼睛。百頁窗拉上了，房内幾乎是一片黑暗。艾森豪威爾注視着瑪咪，緊緊握着她的手，輕輕地說："親愛的，我們要分手了，上帝召我去了。"說罷他的心髒就停止了跳動。
艾森豪威爾的生命雖然結束了，但是他的名字卻與曆史上最重大的事件﹣﹣擊潰德國法西斯相聯系着。在艱苦的戰争年代，艾克作為盟軍歐洲遠征軍總司令，對赢得戰争的勝利作出了重要貢獻。從此他的名字受到了世界人民的廣泛頌揚。戰後，1953-1961年間，作為美國總統，艾森豪威爾的名字，又同"戰争邊緣政策"和"冷戰政策"聯系在一起。許多事實說明，艾森豪威爾是美國壟斷資産階級政策的"忠貞不渝"的維護者。對于他的功過是非，美國人民和世界人民心中自有看法。然而，作為第二次世界大戰的一員名将，人民始終懷念他！