宋哲元为扩军截留了冀、察、平津地区的各种税款，财政部部长孔祥熙知道后极为不满，逢人就说：“宋哲元当年在山西走投无路，等同叫花子，要不是我姓孔的给委员长说情，给他发军费，他早就完蛋了。” 中原大战后期，由于冯阎联军的处境越来越不利，冯玉祥的很多心腹将领或主动或被动的投靠了蒋介石，如吉鸿昌、孙连仲、梁冠英等人都先后率部接受了南京国民政府的改编。 在这种情况下，宋哲元还是对冯玉祥忠心耿耿，决定带领还能掌握的部队退守陕西，凭借潼关天险阻挡蒋介石的部队。但陕西各地的地方武都趁机起来反对西北军，再加上蒋介石的部队紧追不舍，宋哲元率部退守陕西的计划最终落空。 陕西的后路已断，宋哲元不得不带领残部渡过黄河进入山西。而曾经的盟友晋绥军这时又落井下石，将渡船全部扣留，最终跟随宋哲元退到山西的部队所剩无几，成了光杆司令。 不愿意投降蒋介石的西北军残部都云集在山西南部，其中实力比较强的有张自忠部、刘汝明部和庞炳勋等部。 冯玉祥当时还准备收容这些残部继续反蒋，并命令各部统一由孙良诚来指挥。冯玉祥此时根本拿不出多少军饷，这些部队都认为跟随冯玉祥反蒋没有出路，都报着消极抗拒的态度。冯玉祥见无法指挥部队，就宣布下野了，西北军自此宣告瓦解。 冯玉祥离开后，宋哲元和张学良进行谈判，在蒋介石的默许下从宽收编山西的西北军残部。起初这些部队被编为东北边防军第3军，之后又获得了国民革命军第29军的番号，由宋哲元担任军长，下辖冯治安的第37师、张自忠的第38军和刘汝明的暂编师。 在山西的第29军虽然取得了正规军的番号，但因部队超编，军费又少（每月仅有5万元），宋哲元苦苦支撑，部队随时都有解体的可能性。 当时宋哲元身边的“智囊”萧振瀛表示自己可以去南京活动活动，为第29军多争取点军费。善于交际的萧振瀛拿着拼凑的几万元前往南京，先是和孔祥熙搞好了关系，经孔祥熙引荐，萧振瀛见到了蒋介石。 萧振瀛对蒋介石说：“第29军是百战余生的西北军精锐，现在可以利用第29军来牵制阎锡山。只需要多发些军饷，全军上下都会马首是瞻，如果阎锡山有异动，第29军一定支持中央。”蒋介石觉得萧振瀛说的有理，立即命令财政部拨给第29军补充费50万元，并规定以后按照实有人数发放军费。
