马援乃名将赵奢之后，之所以与先祖姓氏不同，原因是赵奢的爵位为马服君，后世子孙便以马为姓了。从汉武帝时期开始，马家就一直有人在朝中为官，直到马援的曾祖父马通因兄长何罗谋反受牵连，马家才开始逐渐没落。
等到了马援这代，马家总算从低谷中走了出来。当时马援和几个弟兄个个才华出众，除了马援之外，其他几个兄弟都在朝中谋了个二千石级别的职位。马援之所以没和兄长们一样被朝廷重用，只是因为他不喜欢操弄文字，只想着耕作放牧而已。
兄长马况死后，马援开始务起了正业，做了郡的督邮。当时正是王莽时期，苛政非常的多，因此很多人被冤枉做了囚犯。马援在某次押解囚犯的途中，因怜悯犯人的经历，竟然将犯人给放了。不得已，马援只能放弃官职逃走了。
马援逃去了北方陇右一带，在那边逃亡的日子，他似乎过得很是惬意，因为他终于实现了耕作放牧的梦想。当朝廷终于赦免了马援罪责的时候，他已经在北边蓄养了不少牛羊，耕种了不少田地。据记载，马援当时从事耕作放牧，牛羊积攒了数千头，粮食积累了上万斛。
时间到了王莽末年，天下战乱纷纷，但陇右这边还算是安稳。不过，马援却没能过上安稳的日子，他将所有财富都分给了宾客以及兄弟后，就被朝廷召去做了新成大尹。没多久，王莽败亡，马援投奔了隗嚣。
说实际的，隗嚣的确不是个好老板，他一直在刘秀和公孙述两股势力之间左右横跳，只想从中捞取一些好处罢了。而马援也是倒霉，刚从王莽那里脱身就跟了这么个主子，哪怕有再大的才能也白搭。
来到隗嚣这边后，马援接到第一个重要使命便是出使蜀地，前去观察公孙述的情况。马援来到蜀地后，发现公孙述不是个做帝王的料，却妄自尊大自命为帝。于是，马援就建议隗嚣归附东边的刘秀。
听了马援的建议，隗嚣就让他出使洛阳，再去观察下光武帝刘秀情况如何。马援领命而去，在与刘秀充分交流之后，确定了刘秀的为人，心中断定天下必将归刘秀所有。于是马援在回去后，夸赞刘秀水平远超汉高祖刘邦，陇右应该归汉。
隗嚣被马援这么一通说，内心终于开始倾向了光武帝刘秀这边。于是，隗嚣就派遣长子隗恂到京师做了人质。马援也携带家属，随同隗恂一起到了洛阳。
可惜的是，马援来到洛阳后，始终没有被重用。几个月后，马援再也忍不住了，就请求光武帝将上林苑暂时借给他屯田。这时候天下经历数年战乱以及天灾，正是缺乏粮食的时候，光武帝想着上林苑闲着也是闲着，就同意了马援的请求。于是，马援再次回到了耕田放牧的生活。
然而没多久，隗嚣在王元的撺掇下开始怀疑起马援来，并最终反叛了汉朝。马援得知隗嚣反叛，立即上疏说明情况，解释自己可不是和隗嚣一伙的。并且，他还请愿回到洛阳，陈述消灭隗嚣的策略。于是，光武帝就把马援召到了洛阳。
来到洛阳之后，马援的确为刘秀献了不少计策，并且最后他还亲自领兵前往陇右，利用以前的关系离间隗嚣将领。最后，陇右逐渐出现了君臣离心的情况，诸多将领背叛隗嚣投降汉朝，彻底将隗嚣逼到了绝路。
最后，光武帝决定亲率大军西征。马援得知后，就将陇右地形详细告知给了光武帝。经过马援的描述，陇右的地形完完全全呈现到了光武帝面前。光武帝为此感慨说：“敌虏已在我眼中！”
第二天，隗嚣就溃败了。平定隗嚣后，马援终于得到了光武帝重用，被拜为了太中大夫。