1920年的直皖戰(zhàn)爭，直、奉聯(lián)合打敗皖系，把持了北京政權(quán)。直系大將吳佩孚成為直魯豫巡閱副使，駐軍洛陽，與地方勢力河南督軍趙倜矛盾加劇。馮玉祥的第十六混成旅由于在擊敗皖系陜西督軍陳樹藩中作戰(zhàn)有功，擴編為第十一師，馮升任師長，不久繼任陜西督軍。1922年4月，第一次直奉戰(zhàn)爭爆發(fā)。趙倜見到張作霖打來大獲全勝的電報，又聽說“吳佩孚業(yè)已陣亡”，于是命令其弟趙杰和部下寶德全襲擊直系留在河南鄭州的部隊。誰知吳佩孚早已任命馮玉祥為后防總司令，并代理其直魯豫巡閱副使之職。馮玉祥發(fā)現(xiàn)鄭州空虛，立即派兵協(xié)防鄭州，自己即率衛(wèi)隊團日行160里趕到洛陽。到5月9日，馮玉祥發(fā)起反攻，大破趙部，并追擊趙部殘兵至開封。

戰(zhàn)爭結(jié)束后，馮玉祥被任為河南督軍。馮玉祥治豫第一要務(wù)即為恢復(fù)秩序，安撫人民，首先委任鹿鐘麟為警察廳長。開封城內(nèi)外治安尤其緊要，馮玉祥親率衛(wèi)隊出巡，捕獲亂兵數(shù)名，就地正法，地方始得安靖。后派李鳴鐘等為各屬鎮(zhèn)守使，以剿匪安民。

馮玉祥還頒布《督豫施政大綱》十條，從嚴查辦貪官劣紳，罰款用來興辦公益事業(yè)。他抄沒趙倜全部財產(chǎn)，盡行充公，大辦教育。他派余心清創(chuàng)辦“中州大學(xué)”（后改名為河南中山大學(xué)）及第一女子中學(xué)。馮玉祥還設(shè)立平民工廠三處，以為貧民學(xué)習(xí)工藝的場所。開封滿城內(nèi)原由旗人居住，現(xiàn)在則給資遣散，使他們與漢人雜處以消弭種族界限。其余禁娼、禁煙、改良市政、興修馬路、疏浚河道等善政，都是凡馮玉祥所到之處肯定一律要做的，概不詳述。

此外，馮玉祥對交通事業(yè)也花大力氣改善，原計劃全省建設(shè)長途電話及長途汽車公路。只可惜馮玉祥督豫僅4個多月，即行去職，其成績則電話僅得潼關(guān)、婦德、許昌三線，汽車公路則僅修周口、潼關(guān)兩路而已。其建設(shè)計劃及種種政策，沒有全部實現(xiàn)。

在財政方面，馮玉祥以薛篤弼為河南省財政廳長，維持紙幣及銅元票兌現(xiàn)，并停辦苛稅雜捐、清理積弊。當時河南駐軍甚多，軍費浩繁，馮玉祥以節(jié)儉廉潔厲行上下，對其他各軍均按時發(fā)餉，唯馮玉祥之第十一師則餉不多發(fā)，也從未向大城市派款。

馮玉祥就任河南督軍后，馬上進行整訓(xùn)和擴充軍隊，改編了兩個補充團和一個學(xué)兵團，不久又將這三個團擴大為三個混成旅。此時，馮玉祥有了一個師又三個混成旅的實力，馮軍成為了一支舉足輕重的部隊。期間他舉辦了“高級戰(zhàn)術(shù)研究會”，由段其澍主持，凡第十一師營副以上軍官均須輪班聽講。其次將“衛(wèi)隊團”改為“學(xué)兵團”，以石敬亭為團長，分三營，挑選嚴格，相當于初級干部之養(yǎng)成所，并將“手槍隊”中又添設(shè)“自行車隊”“汽車隊”，購置卡車十二輛，均受軍事訓(xùn)練，為作戰(zhàn)運輸之用。

自馮玉祥任河南督軍后，勵精圖治，省政一新。時隔不久，“模范軍隊”“平民督軍”等盛譽已蜚聲全國，聲望凌駕于吳佩孚之上。加上馮玉祥屯兵開封，與洛陽的吳佩孚在一條鐵路線上，遂成為吳佩孚的心頭大病。馮就職伊始，吳即索款80萬元，以后每月令繳20萬元，馮玉祥回復(fù)說“沒有這個本事”，還槍斃了已經(jīng)投降吳佩孚的趙倜部下寶德全。馮吳的關(guān)系日益惡化，吳佩孚即操縱北洋政府，調(diào)馮玉祥到北京任陸軍檢閱使，把馮玉祥逐出了河南。