1928年7月6日，蒋介石、冯玉祥、阎锡山、李宗仁在北京开会，到西山碧云寺孙中山灵前举行“北伐完成报告祭”。8月9日，蒋又派特使到奉天，劝张学良把五色旗换成青天白日旗。至此，蒋宣布中国“统一告成”。
其实，蒋介石统一中国，只是各军阀问表面的暂时的“联合”。实际上，当时蒋介石的南京政府能控制的地区只有东南五省。全国数十个国民党新军阀都拥兵自重，各霸一方，根本不听蒋介石的号令。这其中四个势力最大的新军阀是：占据着鲁、豫、陕、甘一线广大地区的冯玉祥；控制着山西省和平津地区的阎锡山；拥有广西、湖南、湖北三省和华北一些地区的李宗仁；统治着东北四省的张学良。
1929年1月1日，蒋介石在南京召开“编遣会议”，决定将现有的84个军，计272个师，裁减为65个师60万人。这次会议，蒋大谈“裁军”、“统一”、“集中”、“奉还大政”、“归命中央”，实际上是想用和平手段夺取各个军阀的军权，企图一举收拾蒋系以外的军阀实力派。
冯玉祥、阎锡山、李宗仁等“新军阀”都出席了这次会议。这些靠兵起家的“统帅”们，都懂得“有兵才有一切”的道理，因此对蒋介石的所谓“裁军”、“统编”都冷眼相看，不予支持。
蒋介石看到用和平的手段收服各路“诸侯”不可能，便决心利用各军阀之间的矛盾，用武力各个击破，实现“统一”。
他首先把矛头对准桂系军阀李宗仁，因为李宗仁当时占据武汉，对蒋氏政权南京政府的生存威胁最直接。
1929年2月下旬，蒋军开始压迫武汉桂军。李宗仁慌忙化装逃出南京，潜往上海。3月21日，蒋介石宣布开除李宗仁的党籍，下令讨伐挂系，蒋桂战争爆发。由于交通断绝，李宗仁不能及时赶到武汉。面对蒋系刘峙十万大军，桂系军心动摇。蒋介石不失时机，派人前往武汉策反。不久，武汉桂系黄陂前线指挥官李明瑞宣布“服从中央”，回师讨伐武汉。前军李明瑞倒戈，使武汉守将夏威等人十分惊慌，匆忙中作出决定：放弃武汉，向西退却。蒋介石眼看形势有利，亲赴武汉坐镇，命令军队追击。夏威等人看大势已去，不得已通电下野，余部却被蒋军缴械收编。与此同时，蒋介石又派人带着巨款赴河北策反桂系将领，果然也找到了反叛者。桂系河北守将白崇禧只好逃回广西。蒋介石乘胜追击，派大军进剿广西。5月中旬桂系兵败，李宗仁、白崇禧逃往香港。蒋桂战争以蒋介石大获全胜而告终。
当蒋介石把枪口对准李宗仁的时候，为了稳住冯玉祥和阎锡山，使他们不插手，蒋拉拢冯、阎对武汉起兵。冯、阎虽未出兵，却通电“服从中央”，其实是想坐山观虎斗。可是，李宗仁惨败后，蒋介石就立即把枪口调转过来，第二个指向便是冯玉祥。
为了制服冯玉祥，蒋介石还是使用老办法，先拉拢阎锡山，使之保持“中立”；又用离间收买桂系将领的同样手法，策反冯玉祥的部将。5月22日冯军部将韩复榘、石友三通电“服从中央”。蒋介石立即下令讨伐冯军，像对付李宗仁一样，开除冯玉祥党籍，还发出“通缉令”，缉拿冯玉祥。冯玉祥勉强挣扎，率军自卫，然而终因四面受敌，加之军心涣散，无法继续抵抗，只好通电“下野”。
冯玉祥兵败，去投靠阎锡山。阎锡山见冯玉祥来投靠自己，以为冯军也归附于自己了，感到自己的力量增大了，不由得洋洋自得。此时，在阎的脑海中出现了一个宏伟的计划：用冯军打头阵去对付蒋介石，然后不失时机，夺取国民政府第一把交椅。于是，9月17日，阎锡山夜会冯玉祥，约定西北军先进攻蒋军，晋军随后接应。冯欣然应诺，遂命令西北军孙良诚、宋哲元立即率军出潼关讨蒋。
从上海滩交易所熏陶出来的政客蒋介石，对阎、冯的上述活动了如指掌。为了战胜阎、冯，蒋依然采取又打又拉的办法。他突然任命阎锡山为陆海空军副司令。阎吃了块肥肉，便违背与冯玉祥的“合约”，在西北军反蒋时，阎命令晋军坐山观虎斗，结果在力量单薄又无援兵的情况下，西北军全部溃败。冯玉祥十分生气而又无可奈何。
蒋介石连胜李、冯二军之后，实现独裁统治的决心愈加坚定。因此在收拾了西北军之后，他气焰万丈，枪口一转，又对准了阎锡山的晋军。
此时的阎锡山才彻底明白过来，蒋介石为了实现独裁统治，对他们各路“统帅”，是一个也不会放过的。阎感到非常恼火，。大叫：“居然逼到我的头上来了!”1930年2月28日，阎锡山到五台建安村亲自接冯玉祥到太原，联合召开军事会议，决心全力倒蒋。阎锡山自封为“中华民国陆海空军总司令”，封冯玉祥、李宗仁为副司令。4月1日他们三人同时宣布就职，通电讨蒋。蒋介石似早有准备。蒋又宣布永远开除阎锡山党籍，并立即下令讨阎。一场中国现代历史上规模最大的军阀混战在中原大地上展开了。
中原大战，东起山东，西到襄樊，南及长沙，北至河北，双方动员了100多万军队互相斯杀，数千里的战线上，炮声隆隆，刀光闪闪。战争初期，阎、冯、李联合作战，占有明显优势。晋军、西北军连克济南、商丘，逼近徐州、蚌埠；桂军也攻克长沙、岳州。然而，蒋介石充分发挥了他的优势：可以“挟天子以令诸侯”，以中央名义封官许愿，策反阎、冯、李的部属；有英美帝国主义和江浙财团的经济支持，可以用金钱收买阎、冯、李的叛将。很快，在阎、冯军的内部就出现了一些叛将。由于这些叛将的倒戈，战争便进入僵持状态。双方都在寻找击败对方的突破口。
这个时候，东北的张学良处于举足轻重的地位。此前，张一直拥兵不动。在蒋与阎、冯、李军事对峙处于僵持状态下，可以说，张的向背决定着交战双方的胜败。因此双方都在极力拉拢张学良。阎锡山委任张学良为陆海空军副司令，蒋介石则以中央政府的名义，不仅任命张学良为陆海空军副司令，并许他以河北、山西、山东部分地盘，贿以3000万元巨款。经过长时间的思考，张学良突然于1930年9月18日通电“拥护中央”，进兵关内，进而占领平津。
由于张学良从背后威胁冯、阎，冯、阎军内开始分化瓦解。冯部将石友三通电拥蒋，杨虎城哗变宣布占领西安。前线的冯军全线溃败，部队为蒋军收编。阎锡山见势不妙，慌忙退缩山西。阎、冯只好通电下野。南边的李宗仁也在衡阳吃了败仗，退回广西。
10月中旬，历时半年的中原大战以蒋介石全胜而结束。