光緒二十年（1894年）六月二十三日（公曆7月25日），日本軍艦忽然發送襲擊，擊沉中國運兵船高升号，甲午海戰爆發。北洋艦隊早些時候沒有得到增強配置，軍費被翁同龢克扣，最終導緻北洋裝備落後。李鴻章心疼船也不願損失過大，丁汝昌便是以指揮失誤，最終的結果是北洋水師全軍覆沒。這個結果也不知翁同龢滿意與否，倘若他不因私人恩怨克扣軍費，李鴻章也不會因心疼而采取保船制敵方針，北洋便未必會輸得這麼慘。
當然，黨争隻是很重要的一個原因，畢竟當時日方是有備而來，而北洋水師沒有絲毫準備的情況下匆忙應戰。清廷軍人素質又不行，本來武器就落後，素質再低，如何還能打赢？北洋水師一滅，日軍便勢如破竹，短短幾天内，遼河東岸的清軍便全線潰退。清廷隻能選擇議和，西方列強的插手，使得日方不得不停止同意議和，不過一開始他們便指定李鴻章成為代表，必須以割地、賠款為條件。
這一戰也直接意味着三十多年來的洋務運動破産，這一年，李鴻章以72歲的高齡前往日本議和。其實清廷在出發前便授予了他割地賠款的權利，但對于李鴻章來說，争得一分有一分之益。在割地這點上，李鴻章跟翁同龢倒是有相同的看法，都甯願多賠些錢。但既然割地已成事實，那李鴻章要辦的便是争取賠款降低。或許他做錯了一些事情，許多人罵他賣國、誤國，但這位高齡老人盡了自己的一份力。
他把姿态放到最低，不管伊藤博文如何羞辱，始終是委曲求全。苦苦哀求，反複跟日方辯論，但日方就是不松口。第三次談判後出現了轉折，本來在第三次談判時，伊藤博文依然是保持微笑，高高在上，但很快他就笑不出來了。因為李鴻章遇刺，在回住所的路上，有一個日本人對李鴻章槍擊。導緻他左眼受傷，李鴻章在世界上頗有名望，加上行刺大臣這事本來就不光彩，輿論便轉向了日本。
和談條件伊藤博文就算不願意他也得收斂，為此，他十分的生氣。大罵那人一通後，立帶着禮物前去看望李鴻章。行刺的那位名叫小山豐太郎，出身門閥士族，父親曾經是議員。十六歲畢業後因病退學，逐漸的成為一個激進主義者。加入過日本右翼團體神刀館，他本來是想殺了李鴻章好讓戰争繼續。
沒想到的是恰好破壞伊藤博文的打算，為避免列強出面幹涉，隻能宣布停戰。在第三次談判的時候，他剛駁回李鴻章停戰的要求。而賠款也從原先的3億兩減少至2億兩，4月17日，馬關條約正式簽訂。小山豐太郎的情況則不太好，本來日方可以要到更多的賠償，勒索更多。
但因為他的這一槍，就損失了整整一億兩，并且隻能停止勒索匆忙結束談判。他也是以被抓入監獄，被判無期徒刑，想必他被抓時還不明白自己究竟做了什麼。小山豐太郎一直被囚禁在北海道網走郡，1907年李鴻章病逝多年，大概是看這事過了，日友善将其放了出來。畢竟他們日後還要靠着這些激進分子去戰場的，不能寒了這些人的心。