1949年11月，国民党第二军在白马山被击溃，宋希濂对陈克非哀叹说：“第二军是仅剩的一张王牌，这下被打掉了，完了，全完了。” 在解放军进军大西南时，第二军是国军残存的部队中，唯一齐装满员的美械军，该军的溃败，让宋希濂集团再无战力。 抗战胜利后，国军一共编组了十三个“全美械军”，即新1军、新6军、2军、5军、8军、13军、18军、53军、54军、71军、73 军、74军、94军。其中，新1军、新6军、5军、18军、74军还是所谓的“五大主力”。 三大战役结束后，十三个美械军已所剩无几。 其中，73军（整编73师）覆灭于莱芜战役，74军（整编74师）覆灭于孟良崮，这是最先被解放军歼灭的两个美械军，都发生在1947年的山东战场。 新一军、新六军、71军，在辽沈战役中划归廖耀湘的“西进兵团”，“西进兵团”被解放军全歼于辽西。一战消灭三个美械军，其中两个属于“五大主力”，这一仗打得很精彩。 53军驻防沈阳，在沈阳解放时，官兵主动投诚。 淮海战役中，十八军跟着黄维兵团，覆灭于双堆集；第五军、第八军跟着杜聿明集团，覆灭于陈官庄。 13军、94军在遭受解放军重大打击后，退入北平，北平解放时，这两个军接受和平改编。 老蒋的军事资本，主要就是依靠这十三个全美械军，而在渡江战役前夕，仅剩下2军、54军，54军在之前的作战中折损严重，装备大量损失，已不能再算作美械军了，这样一来，兵员有近四万之众的2军，成了老蒋的嫡系部队中，仅存的一张“王牌”了。 本来，第二军归13绥靖区司令官王凌云节制，但到了这个时候，老蒋只相信嫡系的黄埔将领，在老蒋的授意下，华中“剿总”副总司令宋希濂，以强力手段，逼迫王凌云将手中的2军、15军等部队交出来。 第二军军长陈克非是黄埔五期生，浙江人，当过老蒋的侍卫官，在这场兵权的争斗中，完全站在黄埔一期的学长宋希濂这边。失去对部队控制权的王凌云，担心遭到毒手，跑去投奔了胡宗南。 有了第二军这支强力部队，宋希濂有了底气，对华中“剿总”总司令白崇禧也不买账。解放军渡江后，在老蒋的密令下，宋希濂拒绝白崇禧的调遣，将部队撤到川东防守。 为了加强宋希濂的实力，老蒋给了他两个兵团，六个军的番号，宋希濂的副手钟彬担任十四兵团司令官，陈克非升任二十兵团司令官。 1949年11月7日，解放军渡过酉水，攻下茶峒、秀山。宋希濂和钟彬、陈克非商议后，认为不能继续坚守阵地，否则会被大迂回包围，于是下令各部后撤。 在重庆督战的老蒋，得知川东防线崩溃的消息后，勃然大怒，去电斥责宋希濂，让不许再退，必须就地阻击。 宋希濂无奈之下，在白马山一线构筑阵地。宋希濂指挥的六个军，大都是拼凑、新编的，战斗力很差，所能依靠的，也就只有第二军。宋希濂在白马山部署了三道防线，其中将第二军作为防守的主力。 11月21日晚，解放军先头部队和第二军交火，白马山之战打响，战至23日，第二军全线溃败。 在解放大西南中，几十万国军大都是望风而逃，白马山之战，作为防守主力的第二军，能和进攻的八万多解放军打上近三天，也能看出其战斗力确实不差。 白马山之战，宋希濂部被打死三千多人，被俘一万余人，其中大部分是第二军的。第二军在二十兵团组建时，划出了一万余人，加强了其他部队，这次在白马山之战中又损失了一万多人，基本丧失了战斗力。 第二军这张“王牌”的损失，让宋希濂失去再打下去的勇气，加之担心回重庆会挨老蒋的责骂甚至惩处，便和陈克非、钟彬脱离，带着总部直属部队自行逃离。钟彬逃到白涛镇后，被解放军抓了俘虏。不久后，宋希濂在大渡河畔也被俘虏。 陈克非带着残破不堪的二十兵团先是撤到了重庆外围，之后接到命令，又往成都方向转移。 成都解放前夕，第二军第九师师长蒋治英来找陈克非说：“共军已过绵阳，我们再拖下去，怕是连谈判的筹码都没了。” 陈克非说：“你当我不知道？老头子的电报天天催，说什么‘不成功便成仁’。” 蒋治英说：“程潜、陈明仁在长沙通电后，受到善待，我看人家说话算数，为了剩下二万多弟兄，司令，起义吧。” 陈克非考虑后，说：“去把副司令、参谋长、几个军长都叫来，开个会。” 当晚，陈克非、蒋治英等二十兵团的主要军官经过激烈的讨论后，一致通过了起义的决定。 12月24日，陈克非在郫县通电起义，与此同时，罗广文兵团、李文兵团等也通电响应。 第二军在白马山之战后，突围逃出去的部队，除了跟着陈克非的，还有一支约五千人的，由76师师长张桐森、164师师长李霜、第9师副师长黄惜时带着跑到了川黔滇边界。 陈克非起义后，给张桐森、黄惜时、李霜发去电报。李霜对黄惜时说：“陈司令既然要起义，为何不早点行动，害得弟兄们跑这么远，多受了苦。” 黄惜时、李霜同意起义，率部向解放军缴械。张桐森带着千余人逃离，跑去了西康投奔胡宗南，西康解放时，张桐森部被消灭，至此，第二军不复存在。
