中国古代的各类制度都都有着一定程度上的历史继承，满清政府入关建立全国政权后，很大程度上沿袭了明代的制度，这就是所谓清承明制。
关于总兵的来源，要追溯到明代的相关制度。明朝太祖皇帝建立了卫所制度，从中央到地方的管辖秩序为五军都督府、都司、卫所体系。在全国各地设置卫所镇守。而在边疆地区，尤其明代初年常常在北方与北元残余势力发生战争，为防备随时可能爆发的战争，则有统辖重兵的总兵和副总兵镇守。
这一制度在明代初年原本只是临时设立，并无品级。一旦战事发生，则总兵接受皇帝的信印出战，战争结束后回朝交还印符。后来渐成边境常驻武官，在内地不少地区也有设置，成为明代军事系统中的常制。
总兵权力很大，直至明末全国也不过二十余人。
清代也沿用了总兵的官职设置。
清代的正规军大致分为两类，即八旗军和绿营兵。后者的主要兵力来源于各地汉族人民，军衔由高至低分别为提督、总兵、副将、参将、游击、都司、守备、千总及把总。其中总兵为正二品，类似今天部队中的军长。受提督统辖，掌理本镇军务，又称总镇。其直接统辖的绿营兵称镇标。
清初，总兵无定品，系左右都督、同知各衔，乾隆十八年（1735），始定品秩。京师步兵营有左、右翼总兵，为步兵统领佐官。
清末，北洋海师亦有左、右翼总兵，各统铁甲舰为领翼队长。
清朝于全中国设有总兵定员83名，比明代时多出不少。
其中，陆路总兵约占70名，水路则为13名，统辖中国十八省614防营约63万兵力。其中最为著名的就是在鸦片战争中牺牲的定海三总兵。
17世纪80年代以后，清廷统一台湾，在台湾地区也设置了总兵这一职务。台湾总兵全称为台湾镇总兵，受台湾道节制，统辖部队称台湾镇，部队人数则在一万名至一万五千名左右。
