一、驱溥出宫迎孙主政
早在击败张勋复辟军时，冯玉祥即主张驱逐溥仪出宫，取消对清室的优待条件，严惩复辟凶犯，但被段祺瑞搁置不理。冯玉祥一直认为在中华民国领土内，还存在一个废清皇帝的小朝廷，不仅是中华民国的耻辱，也是中外野心家时刻企图利用的祸根。11月4日，经摄政内阁同意，冯玉祥令鹿钟麟于5日驱逐溥仪出宫，并且修改对清室优待条件，把故宫的宝物收归国有。这一举动博得全国上下拍手称快。北京全城悬挂国旗，表示庆祝。
北京政变后，孙中山接受中国共产党建议决定离粤北上。10月27日，孙中山向冯玉祥等发电报祝贺并且表示即日北上。冯玉祥立即复电，请早日北来措示建国方针，并派代表特系笔信前往迎接。11月10日，孙中山发表《北上宣言》，提出结束军阀武装割据局面、召开国民会议的主张。
曹锟、吴佩孚倒台后，段祺瑞、张作霖相互勾结，在日本帝国主义的支持下，共同抵制孙中山，制止革命力量的发展。11月10日，张作霖抵天津，特邀冯玉祥前往会晤。张作霖、段祺瑞背弃“奉军不入关”、“孙主政、段主军”的诺言，不仅调大批奉军入关，抢占京津地区，而且推举段祺瑞任临时执政，组织临时政府，并且以鲁督郑士琦、晋督阎锡山从津浦、京汉夹击国民军相威胁。冯玉祥无奈，遂同意段祺瑞出任执政，但仍寄希望于孙中山北上。11月20日，冯玉祥再次发电敦请孙中山从速北上。
11月24日，段祺瑞就职临时执政，总揽总统、总理职权于一身，根本排除孙中山过问政权的机会。段祺瑞、张作霖攫夺北京政变胜利果实，冯自忖兵力不敌段、张，而一筹莫展，遂于11月25日提出辞职并通电全国，称辞职“既可使新酞之展布，枝节不至横生；更可求谅解于中原，使大局易于收拾”，表露出不得不隐退的苦衷。待12月底孙中山抱病抵京时，冯玉祥已避居京西天台山中。
北京政变后，以李大钊同志为首的中国共产党北方区委，采取了联合国民军，打倒段、张的策略。李大钊对冯玉祥做工作，并派人到国民军中工作。经李大钊介绍，冯玉祥会见了苏联驻华大使加拉罕。冯玉祥决定实施孙中山的联俄、联共、扶助农工三大政策，而请苏联顾问团在教导团任教，帮助训练军队，并选派军官到苏联学习。冯玉祥自己也听他们讲政治课，并任命共产党员刘伯坚负责部队的政治工作。冯玉祥密嘱部下，对日益发展的群众爱国运动要加以保护。
二、开发西北助郭倒奉
段祺瑞为保住执政的宝座，一面凭借张作霖扼制冯玉祥；同时又对冯玉祥略施抚慰，以挟冯自重，避免受制于张作霖。段祺瑞同意冯玉祥扩充兵力为步兵12个师，骑兵两个师，炮兵两个旅，交通队一团，共计约15万人。后来又任命冯玉祥为西北边防督办兼督理甘肃军务。于是，冯玉祥赴张家口就职，成立了西北边防督办公署。派部下刘郁芬、蒋鸿遇率两个师入甘肃，拟将甘肃经营成根据地。
在这一时期，冯玉祥“以爱民为第一主旨”。他注重发展教育、举办实业、整顿财政、整顿交通。在他的许多爱国政绩中，有三件特别值得一提。一件是没收英国人20万只羊。一英人擅自开办公司在当地养羊，以往官吏“慑于外人之势，不敢干涉”，冯玉祥了解属实后，将20万只羊全部没收。第二件是改革货运办法。优先运输中国人的货物，把外商的货“屈居其次”。第三件是针锋相对地回击日本武官的侮辱性言论。一日本武官谈及张家口附近的赐儿山，将它与高丽的没有树的秃山相比。冯玉祥认为以被日本灭亡了的高丽比喻中国的山河，是有意侮辱中国，他对日本武官说：“……听朋友说见过你的母亲，说你母亲长得很好看，和妓女差不多，虽然我知道她不是……”，日本武官质问：“这是什么意思？”冯说：“你刚才说的是什么意思？”日本武官无奈，败兴而去。
这时，冯玉祥拒绝参与张作霖、孙传芳为争地盘的混战，而与反对奉、日密约的郭松龄结为联盟，冯、郭订立密约：1、排除军阀专横，永远消灭战祸；2、实行民生政治，改善劳工生活及待遇；3、实行强迫普及教育；4、开发边境，保存国土。冯、郭相互规定：1、不得为攘夺权利，向内地各省战争；2、不得为达前项战争目的，订立卖国条约，向外国借款；3、不得引用外国兵力残杀本国同胞。若违反此规定，所订密约失效。冯郭联盟缓解了奉军对国民军的严重威胁。但是，郭部反对奉张的军事行动很快失败，郭松龄及其夫人被处死。冯玉祥收容了郭的余部。
三、支援“五卅”赴苏考察
“五卅”惨案发生后，冯玉祥致电执政府并几次通电全国，表示“为国赴难，愿效前驱”，并详述废除不平等条约的必要性。同时，他经常对群众、士兵进行爱国宣传，组织西北军捐款援助罢工工人。冯玉祥主张以武力反击帝国主义的屠杀政策。特别在接连发生汉口惨案、沙基惨案之后，更使冯感到中国人民实在忍无可忍，建议全国军队和文武机关一致积极备战，“当于死亡之中，打开一条血路”。
蓬勃发展的革命群众运动与国民军的进步倾向，遭到帝国主义与军阀势力的忌恨。他们加剧血腥镇压，宣传国民军“赤化”。在军事方面，则由帝国主义撮合张作霖、吴佩孚、孙传芳、阎锡山、张宗昌等军阀组成大联合，妄图消灭南方的国民党政府和北方的国民军。国民军处于军阀势力的包围中，冯玉祥为了化仇除怨，停止祸国殃民的内战，也为了转移军阀的视线、保存实力，遂于1926年1月1日通卑辞职。
3月20日，冯玉祥取道库伦(今乌兰巴托)赴苏联考察。冯玉祥在赴苏途中，经与徐谦等人交谈，决定加入中国国民党，冯玉祥自称：“我是一个军人，不懂政治，更没有具体办法，耿耿此心，是仰慕中山先生的为人和主张的。”
5月，冯玉样抵达莫斯科。在欢迎队伍中最引起他注目的是东方大学和中山大学的四五百名中国学生。他们排着整齐的队伍，举着旗帜和大幅标语，上面写着：“欢迎人民军队的领袖——中国工农运动的捍卫者！”学生们狂热地高呼着中国国民军万岁的口号，使冯玉祥深受感动。他高兴地说：“在俄国，我找到了中国将来发展的榜样。”
冯玉祥被招待住进豪华的饭店，面对讲究的饭菜，他想到国内战友正在艰苦地战斗，心中十分不安，不能下咽。他坚持饮食节俭，自己上街买些萝卜、大葱佐餐，拒绝享受美味佳肴。
在莫斯科他会见了苏共中央领导加里宁、伏罗希洛夫等人，并进行参观访问；又与中共中央驻共产国际代表团领导人蔡和森交谈了几天。这一切使冯玉祥对革命有了进一步的理解，也坚定了他继续参加国民革命的决心。不久，传来国民军在南口败退的消息，冯玉祥十分焦急，于8月中旬，秘密离苏返国。
冯玉祥去苏联时，国民军已处于四面受敌的形势。3月21日，国民军放弃天津，退守北京附近。4月，在帝国主义操纵下军阀联盟各军，谋划从北京的东北、东南、西南、晋北、热河等方面分5路向国民军进攻。4月15日，国民军有秩序地迅速撤离北京退至南口。南口有早已构筑的防御工事。工事蜿蜒百余里，深沟阔壕，前设电网，后置地雷，异常坚固。从5月中旬开始，吴佩孚部、直鲁联军、奉军先后进攻南口，虽集中重炮轰击，也未能得逞。
国民军约20万人，在南口与直、奉50余万之众对垒。在北面延庆、赤城、独石口、沽源、多伦一线与奉军作战；在晋北大同、天镇一线与阎军对抗，为了防止截断后方联络线，吴佩孚又派人积极图陕、进攻甘肃，企图断绝国民军后路。
国民军多方作战，苦战近3个月，有生力量伤亡过半，再加给养困难，饷械补充无继，眼看又将与陕甘断绝联络，于是在8月15日总退却，向西突围。以平地泉(集宁)为第一防线，卓资、和林为第二防线。沿途山路崎岖，荒漠连绵，供应奇缺，秩序凌乱，士气十分低落。韩复榘、石友三等部遂另谋出路接受了阎锡山改编。