杨坚和独孤迦罗的婚姻确实令人羡慕，杨坚宠爱了独孤迦罗四十多年，孩子也全是独孤迦罗生的，但杨坚四十多年没有妾室的说法是错误的，实际上杨坚一直有妾室，只是数量上比较少，妾室的地位比较低，都在独孤迦罗的控制范围之内。
杨坚登基之后，于开皇二年，与独孤皇后一起制定了后宫规制，独孤皇后亲自参与定制，自然会为自己争取最大的利益，按照周礼的规定，天子的后宫一般是三夫人、九嫔、二十七世妇和八十一御妻，虽然每个朝代会有不同，但大体都按照这个标准略微进行增删。
而杨坚时期的后妃格外的少，当时只有正三品的嫔三人，正五品的世妇九人，还有正七品的女御（御女或者御妻）三十八人等，独孤皇后“怀嫉妒之心，虚嫔妾之位，不设三妃，防其上逼。自嫔以下，置六十员。”而且独孤皇后还降了她们的品秩。
从中我们可以看出，杨坚继位之初就是有妾的，只是数量少，而且品阶低，都是不能威胁独孤皇后的存在，杨坚只是偶尔临幸这些妃子，唯一宠爱的始终只是独孤皇后。已知的杨坚的两名妃子就是后来的宣华夫人和荣华夫人。
宣华夫人和容华夫人都是陈国人，是在陈朝被灭之后才进宫的，只是两人的身份不同，宣华夫人陈氏是陈宣帝的女儿、陈叔宝的妹妹宁远公主。陈朝灭亡之后，宁远公主作为陈朝皇族被充入掖庭为奴，后来又成为杨坚的妃子，成为三嫔之一。而容华夫人蔡氏的身份不明，在陈朝灭亡之后，被选入后宫，成为九世妇之一。
陈氏和蔡氏都是独孤皇后生前成为杨坚妃子的，《隋书·后妃》都有相关记载：“时独孤皇后性妒，后宫罕得进御，唯陈氏有宠。”而蔡氏“以文献皇后故，希得进幸。”
从中我们可以看出，独孤皇后在世的时候，陈氏和蔡氏已经是杨坚的妃子，并且陈氏比较受宠，而蔡氏则备受冷落。杨广能取代哥哥杨勇成为帝国的太子，这其中也有陈氏的功劳，当时杨广每次回京都送给陈氏大量的财物，目的自然是希望陈氏能在杨坚面前为他美言几句，而陈氏也的确帮了杨广不少忙。
不过在独孤皇后生前，陈氏和蔡氏的地位算不上高，陈氏也不过是正三品的嫔，而蔡氏则是正五品的世妇，后来独孤皇后去世，陈氏和蔡氏被加封为贵人，《隋书·后妃》记载：“至文献崩后，始置贵人三员，增嫔至九员，世妇二十七员，御女八十一员。”
也就是说，独孤皇后去世后，杨坚扩大后宫，陈氏和蔡氏身为贵人，掌六宫事。所以根本不存在杨坚四十年没有妾室这样的事。一个皇帝只有皇后而没有妃子，这在古代基本是不可能存在的，毕竟很多时候，皇后纳妃，并不单单是为了扩充后宫，还出于政治的考量。
所以即便是杨坚也不可能真的只有独孤皇后这一个妻子而没有任何的妃子，只能说他的妃子很少，而且这些妃子都在独孤皇后的控制之内，不会夺了独孤皇后的宠爱，但凡事都有例外。在六世纪九十年代，杨坚在仁寿宫见到了一个宫女，即尉迟迥的孙女尉迟氏。尉迟迥曾在北周末期杨坚把持朝政的时候站出来起兵反对杨坚，失败后，尉迟家的女眷就被没入掖庭为奴，尉迟迥的孙女尉迟氏到了仁寿宫做宫女。
杨坚到仁寿宫避暑，遇到了尉迟氏，然后临幸了尉迟氏，自此之后，杨坚时时临幸尉迟氏，这让独孤皇后大为火光，要知道，在过去的数十年中，除了独孤皇后，杨坚从来没有如此迷恋过一个女子，这让独孤皇后嫉妒得发狂，于是在杨坚上朝的时候，独孤皇后把尉迟氏给杀了，气的杨坚单骑跑进山谷，久久不愿意回来，一直到了半夜才回去。
尉迟氏应该算是杨坚和独孤皇后之间唯一的变数，而自此之后，独孤皇后忌妒心加重，甚至到了变态的程度。但即便是尉迟氏，其实也没有真正影响到杨坚和独孤皇后之间的感情。而杨坚也用一生来实现当初对独孤皇后许下的承诺，即“誓无异生之子”。杨坚一共有十个孩子，全部都是独孤皇后所生，这样的深情放在一个帝王身上，是真的相当难得了。