楊森是國民黨上将，曾任二十軍軍長、二十七集團軍副司令、貴州省主席等職務。到台灣後擔任過總統府國策顧問等職務。
老年的楊森身體一直很好，70歲的時候還學會了開教練機，每逢周末還要去爬山。
在國民黨的将領中，楊森以妻子多、子女多著稱。他生活糜爛，公開的妻妾有12人，子女更是多達43人。楊森對這些妻妾的管理很嚴格，自己在外面可以随意沾花惹草，但是卻不讓自己的妻妾有任何出格的行為，甚至打麻将、喝酒、看電影都是被禁止的。
楊森很看重傳宗接代，是以每個懷孕的妻妾他都給五千元的營養費，産下孩子就為其在國外的銀行存上兩萬塊錢。他在家的時候每天早晨5點就起床鍛煉，并規定年輕的妻妾必須要參與進來，年紀大的即使不能參與也要在一旁觀看。如果誰惹得楊森不高興，他就按照管教士兵的那一套方法，指令犯錯的妻妾跪在地上，用鞭子打的她們滿身是血印子。
楊森娶的妻妾都在18歲以下。有的是楊森依仗自己的權勢威逼利誘娶過來的，有的女子則是家中太過窮困，被楊森買過來的。這些女子由于年紀太小，對于終身大事還沒有一個明确的概念，是以糊裡糊塗地與楊森住到了一起。等到年齡大了懂事之後，已經生米煮成熟飯，為楊森産下了子嗣，隻能繼續委曲求全了。
楊森對于不斷納妾有着自己的一套理論，他說：“我是一個緊跟時代潮流的人，時代在前進我也要前進，是以我需要不斷的納妾來了解年輕人的思想。我的妻妾中有小腳的、有大腳的，有沒上過學不識字的、也有上過學的大學生”。
他還曾對自己的孩子們說：“我老了，身邊總得有個人服侍在我左右，你們的媽媽每天都要照顧你們，沒有多餘的精力管我，是以我隻能在納新妾了。”他把自己不斷納妾說的冠冕堂皇、理所應當。
楊森到底有多少财産誰也不知道，他信不過自己的妻妾，所有财産都由自己掌管。抗戰爆發前，他在日本存了幾十萬銀元，抗戰爆發後這些錢被日本給沒收了。他入股了美豐銀行，并且在裡面有着巨額的存款，還開辦了大川銀行，此外他在其他領域如重慶電力公司、華西興業公司都有投資。
他每到一個地方，都要修建自己的公館，如重慶的渝舍、漢口的楊森花園、廣安的涵虛山莊等，在天津和上海也都有很多房産。
國民黨敗退台灣之際，他讓自己的第四個妻子田蘅秋攜帶大量的金銀珠寶先去了香港，再轉去了台灣。他之是以這樣做，是因為田蘅秋的女兒郁文是蔣介石的侄媳婦，田蘅秋到了台灣能與蔣介石拉上關系，能為自己逃往台灣打下基礎。
楊森去台灣的時候，除了自己新納的小妾胡潔玉随他一起之外，其他任何妻妾都沒有帶走，可見他對這些妻妾根本沒有感情可言，在他的心中毫無地位。
楊森的妻妾過多，是以不一一闡述，隻列舉幾個有代表性的與大家分享一下。
楊森的第四個老婆田蘅秋是阆中人，1920年楊森的部隊駐紮在阆中時，無意中看到了年輕貌美的田蘅秋，是以楊森悄悄跟在了田蘅秋的身後，知道了她住在哪裡。随後就讓下屬前去田家說媒。
田家世代經商，家境很富足，是以田蘅秋的父母極力反對她嫁給楊森當小妾，但楊森天天派人去田家胡鬧，弄的老兩口吃不好睡不着。在萬般無奈之下田蘅秋在一年之後嫁給了楊森，田蘅秋的父親為此積郁成疾，不久後就病死了。
田蘅秋嫁給楊森之後，成了一個出色的交際花，每年楊森過生日都由她陪同接待來賓。國民政府遷到重慶後，何應欽、毛人鳳等人都住在楊森這裡。田蘅秋對他們的家眷百般讨好，每天陪她們打牌、逛街，贈送昂貴的金銀首飾給她們。後來經過毛人鳳的介紹，田蘅秋的女兒郁文嫁給了蔣介石的外甥，可以說楊森能夠在國民黨中平步青雲，田蘅秋功不可沒。
抗戰期間田蘅秋有個丫鬟叫雪花，被楊森奸污導緻懷孕，楊森見她懷孕就把她賞給了自己的一個副官。田蘅秋對此敢怒不敢言，隻能眼睜睜地任由自己的丫鬟被蹂躏和處置。
田蘅秋後來因為腦溢血引發了半身不遂，卧床長達二十多年之久，所有的生活費用均由女兒郁文承擔，楊森不聞不問。
第六個老婆叫陳順容，是廣東人。她原本是楊森三姨太的丫鬟，在15歲就被楊森強行霸占，後來被楊森納為妾室。因為她不太會看臉色，反應又有些遲鈍，是以經常被楊森打罵，是楊森所有老婆中最受氣的一個。後來因為受到刺激得了精神病經常罵人，被楊森鎖在了房間中，後來病死在重慶。
第七個老婆曾桂枝是個孤兒，她是在沿街乞讨的時候被楊森看到并收留的，後來楊森把她交給了自己的下屬撫養。但随着時間的流逝，一點點長大的曾桂枝漸漸地出落成了一個亭亭玉立的姑娘，好色成性的楊森對她起了歹意，在14歲的時候就把她給霸占了。為了長期占有她，就把她納為了自己的第七個小妾。
曾桂枝天資聰穎，是以楊森對她着重培養，把她送去了上海讀書。由于她性格活潑、能歌善舞，是以非常受到異性同學的喜歡。求學期間曾桂枝在舞廳結識了一個姓陳的同學，此人外表俊郎，對曾桂枝體貼入微，二人感情迅速升溫，此時的曾桂枝才體會到了愛情的滋味。
但這件事情很快就被楊森知道，于是他找了個借口把曾桂枝給叫了回來。曾桂枝和陳姓男同學分别的時候依依不舍，陳還請求曾桂枝幫他找一份工作，曾桂枝答應了，随後陳又送給了她一枚戒指，單純的曾桂枝把戒指戴在了手上回到了楊森的家中。
墜入愛河的曾桂枝深深地愛着自己的男同學，沉寂在幸福中的她還不知道危險正在向自己一步步逼近。
曾桂枝回到家中之後，老奸巨猾的楊森并沒有表現出任何異常，也根本沒提他這個男同學的事情。隻是趁曾桂枝不在房間内的時候，偷偷地檢視了二人之間的往來信件。這下徹底坐實了二人之間的關系，并且得知了陳同學想要找份工作的事情。于是楊森假惺惺地對曾桂枝說讓陳回來，許諾讓陳當渠縣教育局局長。
天真的曾桂枝根本不知道這是一個圈套，滿心歡喜地寫信把這件事告訴給了陳，讓他趕緊收拾行李來渠縣，等陳剛進入渠縣的時候，就被埋伏在河邊楊森的人給開槍打死了，可憐這個陳同學死的不明不白，不知為何讓自己丢了性命。
随後楊森又派人去家中接曾桂枝，稱陳同學已經到了河邊。曾桂枝不知是計，精心打扮一番之後跟着楊森的人往河邊趕去，一路上手舞足蹈，開心的不得了。到了河邊曾桂枝剛上船，楊森的人說：“太太，對不起，軍長的指令！”随後開槍把曾桂枝給殺死。這個從小吃盡苦頭、一心向往愛情的女孩子，就這樣被楊森殘忍地奪去了生命。
此時的楊森還不解氣，他命人把二人的屍體捆上石頭沉到了河底。當地人同情這對苦命的鴛鴦，于是把渠河邊的一座橋命名為苦鴛鴦橋。
後來楊森還經常向人提起此事，認為跳舞是妻子出軌的根源，同時他還說：“隻能自己和别的女人跳舞，決不允許别人和自己的老婆跳舞。”
楊森的第九個老婆名叫蔡文娜，被楊森霸占的時候年僅14歲。楊森見她聰明，就專門請了教師教她學習英語。由于和教師單獨相處的時間很多，二人互生好感，不久之後就墜入了愛河。但這件事情很快被楊森察覺，大怒之下的楊森決定把蔡文娜給殺掉，經過衆姨太太們的求情，楊森最終沒舍得殺掉她，把她毒打一頓了事。
由于她的交際能力和應變能力很強，是以成了楊森在交際場上的得力助手。楊森當重慶市長的時候，她經常陪着楊森招待外賓和政要，時不時還給楊森客串一回翻譯，偶爾還登台給大家唱一段平劇。
由于她穿着時髦、氣質出衆，楊森對她非常寵愛，後來更是把她送進華西大學深造。有曾桂枝的前車之鑒，她在求學的過程中一直不敢與别的異性有過多的交往，直到在大四的時候遇到了醫學院一個呂姓男同學。
呂同學英俊潇灑，舞跳得極好，蔡文娜也婀娜多姿，二人一見鐘情。由于蔡文娜接受了高等的教育，思想也很進步，她看透了楊森醜惡的嘴臉，對自己這段畸形的婚姻也越來越厭惡。為了擺脫楊森的控制，二人決定畢業之後就私奔到美國。但是她畢竟是一個學生，根本鬥不過經曆過大風大浪的楊森。
楊森得知蔡文娜的戀情之後，打電話把她給叫回了重慶。見面之後楊森發現當初送給蔡文娜，并且一直戴在手上的戒指不見了。在楊森的追問下，涉世未深的蔡文娜如實說出了自己與呂同學之間的戀情，并請求與楊森離婚，讓自己恢複自由之身。
楊森向來的處事原則就是自己得不到的女人，别人也休想得到。此時的楊森強壓着心中的怒火，表面上說要考慮幾天，但心中已經起了殺心。
天真的蔡文娜以為楊森松了口，還高高興興地陪着楊森看戲。當天晚上蔡文娜在卧室剛躺下，副軍長夏炯就闖了進來，大吃一驚的蔡文娜剛想張嘴說話，就被夏炯一槍打死。一心想要掙脫牢籠，争取愛情自由的蔡文娜，就這樣躺在了血泊之中。
楊森命人把蔡文娜的屍體用被子裹起來，扔進了自家旁邊的枯井裡。随後楊森翻出了蔡文娜與呂同學之間往來的信件，内容全是英文的。他找人翻譯之後，全都是一些極盡纏綿的詞語，把楊森氣的火冒三丈，于是派人去追殺呂同學，但此時呂同學已經去了國外，幸免于難。
蔡文娜生前與姐姐蔡文其通信頻繁，蔡文娜死後，蔡文其寄給妹妹的數封信件都沒有收到回複，蔡文其覺得蹊跷于是來到重慶詢問妹妹的下落，楊森說蔡文娜跟别人私奔去了英國。
蔡文其聽後很驚訝，他深知楊森的脾氣，知道妹妹活着的希望不大，但在掌管着生殺大權的楊森面前，她也無可奈何，隻能哭着走了。
楊森的第十一個老婆名叫胡潔玉，她原本是楊森的下人胡應忠的女兒，胡潔玉十三四歲來重慶讀書的時候，粗心的胡應忠竟然把自己的女兒安排住進楊森的公館内，結果被60多歲楊森給看中。雖然胡應忠堅決反對，但是楊森還是霸占了胡潔玉，胡應忠氣得半死離開了楊家另找工作去了。
後來楊森去台灣的時候在衆多妻妾中隻把胡潔玉給帶走了，還把她送進台灣大學讀書，每天用汽車接送。其實他并沒有多關心胡潔玉，楊森隻是吸取了前面幾個妻子在大學期間談戀愛的教訓，對胡潔玉加強控制罷了。
在楊森86歲高齡的時候，胡潔玉還給她生了一個女兒，老來得女的楊森非常開心。後來胡潔玉留學去了美國，把女兒也接去了美國，母女二人在美國定居。
楊森的第十二個老婆是台灣人叫張靈鳳，是楊森90歲時候娶的，當時張靈鳳才17歲。二人結婚後，張靈鳳照顧着楊森的生活起居，還經常陪他一起鍛煉，一年後還給楊森生下了一個女兒。90歲的老人娶了一個17歲的少女，這是一個多麼不般配的婚姻。而這段婚姻也正是楊森荒唐人生的一個縮影。
楊森晚年不願意住在鬧市區，搬到了台北一個郊區名叫稻子園的别墅居住。他戒煙戒酒，每頓飯四菜一湯，以蔬菜為主很少吃肉，非常注重養生。楊森到了90歲的時候仍然滿面紅光，身體健碩，為此有不良廠商還生産了一款“楊森酒”，宣稱楊森就是喝了這種酒才長壽的，當時在台灣的銷量還很好。其實楊森在70歲的時候就已經不喝酒了，隻是偶爾喝一些汽水。
1977年，93歲的楊森因肺癌去世，結束了他的一生。