新中国建立之初，随着大规模战争的结束，我国进入了战后重建、恢复生产、发展建设的阶段。在河南省内，设立了一系列的专区，例如郑州专区、陈留专区、商丘专区等等。同时，设立了郑州市、开封市、洛阳市等地级市。出现了地级市与专区并立的情况，这样的区划方式在五六十年代非常普遍，例如沈阳市与沈阳专区、苏州市与苏州专区等等。

起初，河南省的省会仍在开封市，陈留专区管理了外围的各个县。郑州专区管理郑县、新郑县、巩县、成皋县、登封县、密县、荥阳县等7个县，郑州市主要管理主城区。当时，郑州市的主城区划分为5个区，分别是：第一区、第二区、第三区、回族区、郊区。1954年，河南省的省会从开封市迁往了郑州市，郑州市成为了河南省的新省会。

同一年，郑州专区行署驻地，迁移到了开封市，郑州专区更名为开封专区。1955年，出于进一步发展的需要，郑州市的第一区更名为陇海区、第二区更名为二七区、第三区更名为建设区（作者立刻想到了陇海路、建设路）。1956年，郑州市的回族区更名为金水回族区。1958年，在河南省新一轮的区划变迁中，开封专区的荥阳县、新郑县、登封县、巩县、密县，划入了郑州市管理。

同一年，建设区更名为中原区。金水回族区、陇海区被撤销，合并为管城区。与此同时，郑州市的郊区被撤销，设立了上街区。当然，这样的区划方式仅仅维持了2年多时间。1961年，外围的各个县，重新划入开封专区管理。郑州市重新调整为5个区，分别是：管城区、二七区、中原区、金水区、上街区。

1963年，郑州市重新设立郊区，调整为6个区。1966年，郑州市的管城区更名为向阳区。60年代末期，全国所有的专区更名为地区以后，河南省下辖的各个专区陆续更名。出于进一步发展的需要，郑州市的管辖范围开始扩大，开封地区的荥阳县，划入了郑州市管理。这一阶段，郑州市下辖了6个区、1个县，分别是：向阳区、二七区、中原区、金水区、上街区、郊区、荥阳县。

70年代末期，我国经济开始持续高速发展。为了适应经济发展的需要，各省下辖的各个地区，陆续调整为地级市。一些原有的地级市，管辖范围进一步扩大。进入80年代初期，郑州市的向阳区更名为向阳回族区。同一年，郑州市在静海、老鸦陈等地的基础上，设立了金海区，区划调整为7区1县。1982年，在密县城关镇、来集乡等地的基础上，设立了新密区，并且划入了郑州市管理。

1983年，开封地区被撤销，原地区下辖的中牟县、新郑县、登封县、巩县、密县，划入了郑州市管理。原地区下辖的开封县、兰考县、尉氏县等地，划入了开封市管理。同一年，郑州市的向阳回族区更名为管城回族区。截至这个时候，郑州市下辖了8个区、6个县，合计14个区县，分别是：金水区、二七区、中原区、管城回族区、上街区、金海区、新密区、郊区、荥阳县、中牟县、新郑县、登封县、巩县、密县。

随着郑州市的持续高速发展，区划也随着出现调整。1987年，郑州市的新密区被撤销，重新划入了密县。金海区、郊区被撤销，设立了邙山区。这个时候，郑州市的区划调整为6个区、6个县，与现在的区划，已经非常接近了。进入90年代以后，巩县、密县、登封县、荥阳县、新郑县先后被撤销，设立了巩义县级市、新密县级市、登封县级市、荥阳县级市、新郑县级市。