南北朝時期，雖然王朝時不時的變換，但無論怎麼變，都有幾個共同特點∶篡位者都曾經由于内亂或者外患而在舊王朝中立下大功，手中掌握強大的軍隊，憑借個人威望和實力奪取權力，進而實作改朝換代。
然而，到了北周楊堅這裡卻成了例外。楊堅既沒有特殊的軍功，又沒有軍隊，完全是因人成事的幸運兒。以至于清朝著名學者趙翼曾說過∶“古來得天下之易，未有如隋文帝者，以婦翁之親，值周宣帝早殂，結鄭譯等，矯诏入輔政，遂安坐而攘帝位。”
事實上，趙翼的這段評論也是隋唐時期的普遍看法。當時楊堅竊取權力後，有許多忌妒、反感甚至反抗者。首先扯旗造反的就是相州總管尉遲迥。
尉遲迥之是以對楊堅憤憤不平，原因在于尉遲迥的孫女嫁給了杞國公宇文亮的兒子宇文溫為妻，有一次在宗室婦女入宮觐見周宣帝時，被周宣帝看中，收為第五位皇後。宇文溫咽不下這口氣，于是便起兵反叛，最終落個家破人亡，但尉遲迥對此卻沾沾自喜，畢竟孫女婿從王爺換成了皇帝，自己的地位也提高了。
尉遲迥自認為是皇帝的嶽丈外公，是以總是和楊堅比較，越比心态就越失衡。他所寵愛的後妻王氏又不斷煽風點火，而且當時楊堅也擔心尉遲迥作亂，讓朝廷下令派韋孝寬前來接替尉遲迥的相州總管職務。不過更讓尉遲迥不能接受的是，楊堅派來的傳旨使者竟然秘密傳書給相州總管府長史晉昶，讓其做内應，尉遲迥得到這個消息後，氣得火冒三丈，立即處斬了來使和晉昶兩個人，并迅速集合人馬決定與楊堅就此決裂。
當時北周剛剛滅掉北齊，北周在山東地區根基并不深，人心還沒有完全歸順，不少圖謀大權的人不得已投降了北周，但是一旦有風吹草動，這些人絕不會安于現狀。現在尉遲迥決定和楊堅決裂，在這些人看來正是可以利用的機會，他們看到尉遲迥振臂高呼，于是紛紛響應。衛州（今河南淇縣）、黎州（今河南浚縣）、洺州（今河北永年）、貝州（今河北清河）、趙州（今河北隆堯）等地在尉遲迥宣布和楊堅決裂後，立即打出推翻北周的旗号以響應，于是一時間河南、河北、山東等地頗有山雨欲來風滿樓之勢。
随着尉遲迥的不斷鼓動，加入他隊伍的人也越來越多，對楊堅而言最為嚴峻的是，有些封疆大吏也由最初的觀望動搖逐漸走上了對抗自己的道路，例如隕州（今湖北安陸）總管司馬消難以其管轄的九州八鎮兵馬叛周降陳，益州總管王謙率領管轄的十八州兵馬反叛，豫州、襄州和荊州地區也是叛亂從生。
除了尉遲迥之外，楊堅其實最擔心的就是司馬消難和王謙。司馬消難本來是北齊的元勳，父親司馬子如是北齊的佐命功臣，曾經擔任尚書令，而司馬消難本人則是高歡的女婿，官拜驸馬都尉、光祿卿，出鎮北豫州（今河南荥陽）。司馬消難是個風流才子，有些拈花惹草、喜新厭舊的習氣，是以與公主關系并不好，而且經常被禦史們彈劾貪贓枉法，是以司馬消難的名聲并不好。齊文宣帝在位時，因生性猜忌，司馬消難也受到猜忌，于是為了防止自己會牽連到禍患，他搶先與北周勾結，最終投降了北周，周宣帝納其女為兒子周靜帝皇後，司馬消難也借此榮升大後丞，不久後以外戚出鎮隕州。
王謙是北周功臣王雄之子，本身沒有什麼才能，但為人謙卑，是以在朝廷上下口碑不錯，承襲父爵而身居高位，對北周政權深有感情。楊堅輔政後，王謙舉棋不定，為了個人利益，他曾經派部下奉表進京表示順從。另外，他又對自己不忠于北周皇室的行為而羞愧不已，始終有倫理道德上的負罪感。是以當其使者自京城回來告訴他朝廷的形勢後，他終于下定決心起兵反抗楊堅。
尉遲迥、司馬消難以及王謙以匡複北周皇室為口号，三方共同起兵，表面上聲勢浩大，但是三個人卻都有自己的算盤。尉遲迥一起兵就北結高寶甯以聯合突厥，南方聯結陳朝，并割讓江、淮二州給陳朝;司馬消難起兵之後為了得到陳朝的支援，将自己的兒子送到陳朝做人質。
事實上，在北周各地反叛四起時，具有戰略意義的地區基本都是控制在楊堅手中的。例如幽州、定州七鎮掌握在于翼手中，阻斷了尉遲迥與突厥之間的聯系，使其大有後顧之憂；号稱"東南要地"的徐州（今江蘇徐州），其總管源雄拒絕尉遲迥的拉攏，出兵讨伐尉遲迥的部将畢義緒、席毗和曹孝達，同時擊退了南陳大軍的增援，打破了尉遲迥和南陳聯合的企圖；毫州（今安徽毫州）總管賀若誼西擋司馬消難，東拒尉遲迥，并平定了申州刺史李慧的反叛，分割了尉遲迥司馬消難兩路大軍;利州（今四川廣元）總管豆盧勤死守本州，為大軍進入蜀中打開友善之門。
綜觀當時整個形勢，雖然反叛的人不少，但各地反叛勢力基本都分割開來，形成不了合力，是以也就難以對抗以楊堅為核心的中央朝廷，給了楊堅寶貴時間，可以充分地調兵遣将逐個平叛。
楊堅經過一番部署後，以周靜帝的名義下達了以韋孝寬為行軍元帥讨伐尉遲迥的诏令，同時任命老将梁睿為益州總管，出兵讨伐王謙，任命大将楊素出兵讨伐宇文胄，大将王誼讨伐司馬消難，以韋世康為绛州（今山西聞喜）刺史，坐鎮關中確定京師安全。
在有些平叛将領看來，自己原先和楊堅不相上下，現在地位卻發生了變化，心中難免不服，而且這些人不知道平叛成功後，楊堅究竟會如何對待他們，是以很多人甚是疑慮，這就影響了平叛隊伍的士氣。更為嚴重的是，當時尉遲迥也以高官厚祿引誘這些人，楊堅和尉遲迥究竟鹿死誰手還不得而知，是以有些人開始持觀望态度，甚至暗中和尉遲迥眉來眼去。
當時李穆的侄子李詢向楊堅詳細彙報了前線的情況，其中有句話就能證明上述問題∶"梁士彥、宇文忻、崔弘度并受尉遲迥鑲金，軍中怪怪，人情大異。"
韋孝寬當時對此沒有什麼良策，畢竟他這個統帥隻是對諸軍進行遙制，将領都各自領兵，而且當時韋孝寬因為年齡的原因身體也不好，不能總領軍務，都是讓夫人代為傳令，韋孝寬這種做法或許有一種息事甯人的味道。但從表面上看，平叛的軍隊似乎群龍無首，有一盤散沙的感覺，是以李詢建議楊堅派重臣到前線監軍。
楊堅雖然對尉遲迥、司馬消難以及王謙的叛亂早有心理準備，但是對于眼下來自内部的危險思想上有些準備不充分，加上軍情緊急，楊堅心中很是焦急，于是就和劉昉、鄭譯等人商議，想要撤換韋孝寬，并希望他們之中有人能夠到前線督軍。
當時李德林見楊堅的想法和行為有些偏離軌道，于是趕忙站出來為楊堅做了一番分析。
在李德林看來，楊堅初掌大權，很像當年曹操挾天子以令諸侯，很多人不服氣也在情理之中。在這種情況下，如果聽信傳言，貿然撤換前線将領，恐怕會适得其反，隻會搞得人人自危，軍隊将會是以崩潰，眼下應該派一名老成持重、有些威望的人到前線去穩定局勢，李德林為楊堅推薦的人選是高穎。
恰在此時，東郡太守于仲文被尉遲迥打敗，妻子兒女慘遭殺害，隻身逃回長安，楊堅立即任命于仲文為河南道行軍總管，和高頗一起到東部前線協助韋孝寬處理軍務。于仲文是北周勳貴，和前線的衆多将領地位相近，與很多人有共同語言，便于溝通。将領們得知于仲文到來後，都紛紛向他打聽京城的消息，特别是楊堅的為人。
于仲文其實很明白，衆将所關心的其實就是未來改朝換代後，自己究竟能得到什麼好處。他同樣明白，自己的表态将決定人心向背，于是便極力贊美楊堅，告訴衆人楊堅是個"寬仁大度，明識有餘，苟能竭誠，必心無貳"的人。
于仲文的到來逐漸穩定住了軍心，加上高穎細緻地打理軍務，平叛的軍隊又開始擰成一股繩。韋孝寬有了高穎和于仲文的坐鎮，也能騰出手來施展自己的軍事才能，向尉遲迥展開了猛烈的攻勢。
在軍心穩定之後，韋孝寬帶領大軍向武陟（今河南武陟）挺進，與盤踞在武德郡（今河南沁陽）的尉遲迥之子尉遲惇所率領的十萬大軍隔沁水對陣。為了迅速渡河，高頰建議立即搭橋。三天後，韋孝寬帶領先頭部隊開始渡河，尉遲惇本想趁韋孝寬半渡之時展開進攻，不過他沒有想到韋孝寬反而利用他的軍隊略作後撤之時突然進攻，大軍一過河，高穎就下令将渡橋燒毀。士兵們一往無前，大敗尉遲惇，而後又在野馬岡和草橋擊退尉遲迥的伏兵，大軍直逼邺城。
尉遲迥實在沒有想到，自己的兒子居然這麼快就兵敗，眼看形勢不妙，便立即集結十三萬大軍，率領二子尉遲惇和尉遲祐，在邺城南城布陣，尉遲迥老當益壯，親自披挂上陣，帶領頭戴綠頭巾、身穿錦襖的"黃龍兵"結成一陣，靡麾下全是關中士兵，全都為其拼死力戰。
為了確定邺城安全，尉遲迥的弟弟尉遲勤帶領五萬青州兵前來增援，率先趕來的三千騎兵先鋒部隊投入戰鬥，雙方在邺城下展開了極其慘烈的厮殺，邺城城中士民争相雲集出城，目睹這驚心動魄的場面。
尉遲迥的确是一員能征善戰的勇将，威風絲毫不遜于年輕時，他一出馬全軍為之振奮，拼盡全力向韋孝寬大軍沖去。韋孝寬的人馬當即抵擋不住，全軍在敵人的壓迫下逐漸後退。高穎和李詢等人看到形勢危急，顧不上什麼道義準則，匆忙之下整頓人馬，向着圍觀百姓展開攻擊，那些興高采烈圍觀大戰的百姓沒想到還有士兵向自己沖來，立即吓得魂飛魄散，驚叫之中四下逃竄，于是一下子就把尉遲迥的陣形沖亂。
韋孝寬的手下大将宇文忻看見形勢出現轉機，立即高喊"賊敗矣"，而後全軍為之一振，重新向尉遲迥的大軍猛烈沖擊，而尉遲迥的人馬則明顯受到士氣影響，陣形被沖得七零八落，韋孝寬的大軍也趁勢攻進了邺城。
大将梁士彥首先從北門攻入，一路追殺至西門，然後将宇文忻的人馬接進城中，尉遲迥退守城中小城樓，大将崔弘度尾追而至，尉遲迥回頭張弓搭箭想要射去，一看是兒媳婦的哥哥崔弘度，想到大勢已去，負隅頑抗也無濟于事，不如做個順水人情，便将弓箭扔在地上，痛罵楊堅後自刎而死。崔弘度大概也不好意思撿現成的便宜回去，于是叫過來弟弟崔弘升，将尉遲迥的首級割下，讓其回去領功請賞。
尉遲迥兵敗後，尉遲勤和尉遲惇、尉遲祐等叔侄三人東逃青州，結果被韋孝寬手下大将郭衍追獲，而後山東地區各地叛亂相繼被平定。
尉遲迥是當時三方叛亂實力最強的一支，随着尉遲迥叛亂的平定，司馬消難的處境也越來越困難。八月二十七日，也就是平定尉遲迥叛亂的十天後，王誼率領四大總管進兵隕州，司馬消難聞訊連夜逃難陳朝，于是荊、郢諸州叛亂也相繼平定。楊素攻克榮州，宇文胃出逃，最終被追到斬首。梁睿率領二十萬大軍進入蜀中，連戰連捷進逼成都，十月二十六日，王謙帶領五萬精兵背城結陣，準備決一死戰，梁睿縱兵進擊大敗王謙，斬其首級後傳首京城，至此三方叛亂全部平定。