接进呈皇帝，要送尚书署，汉成帝时尚书署的长官改用士人(以往是宦官)，署随改为台，于是尚书台成了皇帝的机要秘书处。直到曹魏时期尚书台从少府中独立出来，成为最高权力机关，此时的最高行政权力由丞相处转移到了尚书台。
曹魏时为牵制尚书令的权力，便设置秘书令负责起草掌奏之事，魏文帝曹丕即位后，改秘书为中书，设中书监、中书令为长官，职掌机要后来逐渐扩大为中书省。中书省的主要职权是承旨草拟诏书、参与立法、传达诏令。由于中书省在事实上参与军国大计的决策，在执行中又可以谏议，辩驳皇帝的诏令，对官吏的上奏有取舍之权，国家的政治中枢由尚书省转移到中书省，中书令取代尚书令成为实际上的宰相。
可是随着中书省的权柄日重，唯恐对皇权造成冲击，从魏晋开始，皇帝逐渐让侍中参政，后来又正式设立门下省牵制中书省的权力。侍中在汉代的时候只是一个替天子处理一些日常事务甚至生活琐事的小官，但因为亲近皇帝，无形中便成了亲信贵重的职位。西晋的时候，侍中在朝堂上已经有了显赫的地位，“备切问近对，拾遗补阙。”到东晋哀帝的时候，门下省正式成立。
后来杨坚以外戚身份篡权立隋朝，为了防止同样的命运在自己身上上演。隋文帝在魏晋三省六部的基础上正式设立三省长官共为宰相的制度，这种制度为后来的唐朝所沿袭。
纵观三省的起源，不难发现这其实就是皇帝和大臣们争夺行政权力的一场博弈。在秦汉的时候乃至更早的春秋战国时期，国君任命丞相称之为“拜相”，在丞相就职的时候皇帝是要向丞相行礼的，古时的丞相号为“调阴阳”、“掌百官”，是协助皇帝治理天下的，类似于一种合作关系，皇帝自然也就必须要保持表面的礼待。可是中央集权的统一封建王朝设立以后，为了维护世袭统治，历代君主都致力于加强皇权，必然的也就需要抑制相权，而方法又都惊人的相似。
一个人在感觉到一件事情力不从心的时候，最容易找身边的倾诉。至高无上的皇帝也不例外，在和大臣关于行政权力的争夺中失势之后，便将目光放到了身边的人身上，可是皇宫中除了妃嫔宫女就只剩下了太监，显然不能让一群女人去朝堂上和大臣们斗，所以太监成了唯一的选择。这也是历代宦官擅权的根源。
从尚书署到中书监再到门下省，最开始的长官大多都是太监，几百年下来，皇帝不断地利用身旁的太监去分润大臣的权力，可是太监专政的固有缺陷让新设立的部门又一次次的