历朝历代的兵制略有不同，总体而言，兵部尚书最大，其次是总督，再次是提督，然后才是总兵。元帅并不列入常规序列，唐、宋、元、明等朝曾经设置。

兵部尚书是六部尚书的其中之一，别称为大司马，统管全国军事的行政长官，明朝正二品，清朝从一品。兵部尚书相当于现在主持中 央军 委日常工作的军 委副主 席兼国 防 部长；明朝兵部尚书权力更大，相当于现在的军 委副 主 席、国 防 部 长、总参 谋 长和后 勤 部 长的总称，明清两代，因为兵部下辖4部门，当时各分管各地驻军的粮草，军 队的调动以及军队官员的任命还有一个类似参谋部的衙门。

总督是封疆大吏，地方军政大员，节制数省兵马，而且一般兼有其他职务，比如直隶总督兼北洋大臣，两江总督兼南洋大臣，其他的例如湖广总督，两广总督也有很强的实力。如清朝重臣张之洞，官方正式职位为“兵部尚书兼都察院右都御使总督两广等处地方军务兼理粮饷”。这种情况下，很明显，作为两广总督的张之洞要比同级别的中枢兵部尚书更有实权了。

还有一种情况值得注意，在清朝的总督中，直隶、两江、湖广、两广、陕甘等五大最重要的总督，通常会以兵部尚书或右都御史衔兼任。

四川、浙江等地总督有时候也会以兵部侍郎、右副都御史身份兼任。这种情况下，作为兵部尚书副职的兵部侍郎衔总督，无论是从品秩还是实权，都要低于兵部尚书了。总督通常指一个国家的某片相对自主的区域中实际或名义上的最高行政长官。清朝时对统辖一省或数省行政、经济及军事的长官称为“总督”，官阶为正二品，但可通过兼兵部尚书衔高配至从一品。与只掌握一省行政事务的巡抚不同，总督兼管数省，同时在政务之外也兼掌军务。

提督全称为提督军务总兵官，负责统辖一省陆路或水路官兵。提督通常为清朝各省绿营最高主管官。若以职能分，提督分为陆路提督与水师提督，掌管区域达一至两省。一般来说，清朝共在中国各地设置12名陆路提督和3名水师提督，为一省绿营兵的最高长官，受总督或巡抚节制。

明朝时期，总兵为无品级之武官官名，其统辖兵士、编制定员、位阶皆无一定，通常为公侯或地方都督兼任。明朝末年，总兵是高级将领，全国不过二十人左右，相当于军 区司 令 员。清朝之后，总兵则改为正二品，一般受提督统辖；全中国设有总兵定员83名，其中陆路总兵约占70名，水路则为13名，统辖中国十八省614防营约63万兵 力。