楊堅和獨孤迦羅的婚姻确實令人羨慕，楊堅寵愛了獨孤迦羅四十多年，孩子也全是獨孤迦羅生的，但楊堅四十多年沒有妾室的說法是錯誤的，實際上楊堅一直有妾室，隻是數量上比較少，妾室的地位比較低，都在獨孤迦羅的控制範圍之内。
楊堅登基之後，于開皇二年，與獨孤皇後一起制定了後宮規制，獨孤皇後親自參與定制，自然會為自己争取最大的利益，按照周禮的規定，天子的後宮一般是三夫人、九嫔、二十七世婦和八十一禦妻，雖然每個朝代會有不同，但大體都按照這個标準略微進行增删。
而楊堅時期的後妃格外的少，當時隻有正三品的嫔三人，正五品的世婦九人，還有正七品的女禦（禦女或者禦妻）三十八人等，獨孤皇後“懷嫉妒之心，虛嫔妾之位，不設三妃，防其上逼。自嫔以下，置六十員。”而且獨孤皇後還降了她們的品秩。
從中我們可以看出，楊堅繼位之初就是有妾的，隻是數量少，而且品階低，都是不能威脅獨孤皇後的存在，楊堅隻是偶爾臨幸這些妃子，唯一寵愛的始終隻是獨孤皇後。已知的楊堅的兩名妃子就是後來的宣華夫人和榮華夫人。
宣華夫人和容華夫人都是陳國人，是在陳朝被滅之後才進宮的，隻是兩人的身份不同，宣華夫人陳氏是陳宣帝的女兒、陳叔寶的妹妹甯遠公主。陳朝滅亡之後，甯遠公主作為陳朝皇族被充入掖庭為奴，後來又成為楊堅的妃子，成為三嫔之一。而容華夫人蔡氏的身份不明，在陳朝滅亡之後，被選入後宮，成為九世婦之一。
陳氏和蔡氏都是獨孤皇後生前成為楊堅妃子的，《隋書·後妃》都有相關記載：“時獨孤皇後性妒，後宮罕得進禦，唯陳氏有寵。”而蔡氏“以文獻皇後故，希得進幸。”
從中我們可以看出，獨孤皇後在世的時候，陳氏和蔡氏已經是楊堅的妃子，并且陳氏比較受寵，而蔡氏則備受冷落。楊廣能取代哥哥楊勇成為帝國的太子，這其中也有陳氏的功勞，當時楊廣每次回京都送給陳氏大量的财物，目的自然是希望陳氏能在楊堅面前為他美言幾句，而陳氏也的确幫了楊廣不少忙。
不過在獨孤皇後生前，陳氏和蔡氏的地位算不上高，陳氏也不過是正三品的嫔，而蔡氏則是正五品的世婦，後來獨孤皇後去世，陳氏和蔡氏被加封為貴人，《隋書·後妃》記載：“至文獻崩後，始置貴人三員，增嫔至九員，世婦二十七員，禦女八十一員。”
也就是說，獨孤皇後去世後，楊堅擴大後宮，陳氏和蔡氏身為貴人，掌六宮事。是以根本不存在楊堅四十年沒有妾室這樣的事。一個皇帝隻有皇後而沒有妃子，這在古代基本是不可能存在的，畢竟很多時候，皇後納妃，并不單單是為了擴充後宮，還出于政治的考量。
是以即便是楊堅也不可能真的隻有獨孤皇後這一個妻子而沒有任何的妃子，隻能說他的妃子很少，而且這些妃子都在獨孤皇後的控制之内，不會奪了獨孤皇後的寵愛，但凡事都有例外。在六世紀九十年代，楊堅在仁壽宮見到了一個宮女，即尉遲迥的孫女尉遲氏。尉遲迥曾在北周末期楊堅把持朝政的時候站出來起兵反對楊堅，失敗後，尉遲家的女眷就被沒入掖庭為奴，尉遲迥的孫女尉遲氏到了仁壽宮做宮女。
楊堅到仁壽宮避暑，遇到了尉遲氏，然後臨幸了尉遲氏，自此之後，楊堅時時臨幸尉遲氏，這讓獨孤皇後大為火光，要知道，在過去的數十年中，除了獨孤皇後，楊堅從來沒有如此迷戀過一個女子，這讓獨孤皇後嫉妒得發狂，于是在楊堅上朝的時候，獨孤皇後把尉遲氏給殺了，氣的楊堅單騎跑進山谷，久久不願意回來，一直到了半夜才回去。
尉遲氏應該算是楊堅和獨孤皇後之間唯一的變數，而自此之後，獨孤皇後忌妒心加重，甚至到了變态的程度。但即便是尉遲氏，其實也沒有真正影響到楊堅和獨孤皇後之間的感情。而楊堅也用一生來實作當初對獨孤皇後許下的承諾，即“誓無異生之子”。楊堅一共有十個孩子，全部都是獨孤皇後所生，這樣的深情放在一個帝王身上，是真的相當難得了。