1942年，汤恩伯被蒋介石任命为第一战区副司令员一职，率领40万国军部队进驻河南地区，防止日军对中原地区的进攻。然而，在驻扎河南期间，汤恩伯部队的军纪败坏甚至到了令人发指的程度。为了扩充兵员，汤恩伯不止一次放纵基层官兵在河南强行征用壮丁，而且还纵容国民党士兵对河南地区百姓烧*掳掠，手段无所不用其极。

受蒋介石在抗日战争期间炸毁河南黄河花园口大堤的影响，河南在1942年先后爆发了严重的洪涝和干旱灾害，大片颗粒无收的庄稼地，使河南地区爆发了严重的饥荒。然而，汤恩伯率领军队在河南地区的征粮不减反增，这让河南当地人民对汤恩伯的所作所为感到十分不满。

在20世纪40年代的河南，民间常流行“河南四害，水旱蝗汤”的说法，其中水指的是洪涝，旱指的是旱灾，蝗指的是蝗虫，汤指的是汤恩伯。由此可见，河南当地人民对汤恩伯的憎恶已经到了近乎恨之入骨的程度。

1944年，日军发动豫湘桂战役，对河南发起全面进攻。然而，在河南搜刮民脂民膏长达2年之久的汤恩伯部队，面对日军突如其来的进攻却毫无招架之力，在短短不到一个月的时间里连续丢关失城多达十余座，甚至惊动了当时的反法西斯盟军，使蒋介石在国际的反法西斯同盟军会议上无地自容。

更让当时的国民党军队感到羞愤不已的是，在汤恩伯的军队从前线溃败之后，当地的百姓甚至为汤恩伯部队的战败拍手称快。面对着失去武器的汤恩伯部国军士兵，当地的百姓们甚至纷纷拿起石头、棍棒，给这些平日里作威作福的人沉痛的教训。

而拥有武器的残兵败将，则被河南当地诸如“红枪会”等民间武装缴械，就连汤恩伯本人也是乔装打扮成平民，才从前线捡回一条性命。

但是，在抗日战争尾声中吃了大败仗的汤恩伯，非但在抗日战争结束之后没有遭到指责，反而步步高升。1946年，汤恩伯被晋升为上将军衔。蒋介石想要以此为手段，鼓励汤恩伯在内战中多为他效命，但汤恩伯糟糕的战场表现终究还是让蒋介石对其深感失望。

在1947年爆发的鲁西南会战中，汤恩伯被派往前线，负责进攻陈毅、粟裕率领的部队，但是汤恩伯非但没有完成消灭华东*军的作战任务，其麾下张灵甫的国军整编第七十四师还在孟良崮战役中被歼灭，这让蒋介石在一怒之下辞去了汤恩伯的前线职务，将其调往后方南京，担任南京卫戍司令员一职。

1949年1月，在经历辽沈、淮海、平津三大战役之后，国民党部队的有生力量被消灭殆尽，蒋家王朝在中国大陆败绩已露。无奈之下，蒋介石只好再度启用在前线战场上屡战屡败的汤恩伯，让汤恩伯担任京沪杭保卫司令员一职，负责在江南地区对解放军的攻势做出最后的抵抗。

1949年，随着国共在渡江战役前和平谈判的失败，蒋介石在国民党中的声誉一度一落千丈。在国民党党内的巨大压力下，蒋介石被迫宣称“下野”，由李宗仁担任代理南京国民政府“总统”一职。