藍玉出生于鳳陽定遠是常遇春的小舅子，和朱元璋是同鄉，早年在姐夫常遇春的帳下效力。受常遇春的影響，藍玉作戰勇敢，擁有将才，故而常遇春将藍玉推薦給力朱元璋。從此開始了他的升遷仕途，由管軍鎮撫升任千戶和指揮使。
可就在藍玉仕途順利的時候，姐夫常遇春病故，俗話說，朝中有人好做官。常遇春的死亡，難免會對藍玉未來的仕途造成影響。
可是藍玉并沒有灰心喪氣，反而更加努力，用自己的骁勇善戰，殺敵立功打開自己的仕途道路。那個時候，中原已經安定，但是北方的元朝政權依然會威脅大明的北方邊境。當時的四川也未歸于王化，雲南的軍閥依舊效命于元朝，可見那時的大明有太多的隐患。
洪武三年，為了消除隐患，朱元璋封藍玉大都督府佥事，跟随颍川侯傅友德征讨四川。幾場大戰就消滅了當地的軍閥。
洪武五年，藍玉跟随徐達讨伐北元，藍玉身為前鋒兩度擊敗王保保。
洪武十一年秋藍玉和沐英率兵西征，此一戰收獲甚多，藍玉因功被封為永昌侯。
洪武十四年藍玉跟随傅友德征讨雲南，憑借着強悍的大明軍隊和藍玉的英明指揮，雲南的梁王死在逃亡途中。
洪武二十一年，藍玉率領十五萬大軍北上破元，他采取快速奇襲的作戰方式，打得脫古思帖木兒狼狽北上逃竄，這一戰藍玉俘獲戰利品甚多，從此大明周邊不再有任何隐患。
朱元璋非常地高興，稱贊藍玉如同漢朝的衛青，并封賞藍玉為梁國公，從此藍玉的權勢地位已達頂點。