话，在一时喜怒之下，就将他们全部废掉呢！况且太子是天下的根本，不可轻易动摇。从前晋献公听信骊姬的谗言，杀死太子申生，导致晋国三代大乱。汉武帝听信江充的诬陷，治罪于戾太子刘据，使得京城血流成河。晋惠帝听信贾后的谗言，废掉愍怀太子司马遹，导致中原陷入战乱，百姓生灵涂炭。隋文帝听信独孤皇后的话，废掉太子杨勇，改立隋炀帝杨广，最终失去了天下。由此看来，废立太子之事，不可不慎重。陛下如果一定要这样做，臣不敢遵奉诏令。”玄宗听后很不高兴。李林甫起初一言不发，退朝后却私下对深受玄宗信任的宦官说：“这是陛下的家事，何必去问外人呢！”玄宗犹豫不决。武惠妃暗中派官奴牛贵儿对张九龄说：“有废黜就必定有册立，您如果能从中相助，就可以长久担任宰相。”张九龄怒斥了牛贵儿，并将这些话禀报给玄宗；玄宗听后为之动容，因此直到张九龄被罢免宰相之职，太子的地位都没有动摇。李林甫日夜在玄宗面前诋毁张九龄，玄宗逐渐疏远了张九龄。
李林甫引荐萧炅担任户部侍郎。萧炅向来不学无术，曾经在中书侍郎严挺之面前，将“伏腊”误读为“伏猎”。严挺之对张九龄说：“尚书省的官署里，怎么能容忍有‘伏猎侍郎’这样的人呢！”因此萧炅被调出京城，担任岐州刺史，李林甫也因此怨恨严挺之。张九龄与严挺之关系友好，想举荐他担任宰相，曾经对他说：“李尚书正受到陛下的恩宠，您应当主动去拜访他，与他交好。”严挺之向来意气风发，看不起李林甫的为人，最终也没有去拜访他；李林甫对他的怨恨更深了。严挺之先前娶过一位妻子，后来休了她，这位妻子改嫁蔚州刺史王元琰，王元琰因贪赃罪被交付三司审讯，严挺之出面为他求情。李林甫趁机通过身边的人在宫中向玄宗禀报了这件事。玄宗对宰相说：“严挺之竟敢为罪人向有关部门求情。”张九龄说：“王元琰的妻子是严挺之休弃的妻子，不应该还有私情。”玄宗说：“虽然两人已经离婚，但严挺之还是在暗中袒护她。”
于是玄宗累加先前的事情，认为裴耀卿、张九龄结党营私；壬寅日，任命裴耀卿为左丞相，张九龄为右丞相，二人一同被罢免了宰相的实际职务。任命李林甫兼任中书令；牛仙客为工部尚书、同中书门下三品，依旧兼任朔方节度使。严挺之被贬为洺州刺史，王元琰被流放到岭南。
玄宗即位以来，所任用的宰相中，姚崇崇尚通达，宋璟崇尚法治，张嘉贞崇尚吏治，张说崇尚文治，李元纮、杜暹崇尚节俭，韩休、张九龄崇尚正直，他们各有所长。张九龄获罪被罢相后，朝廷中的官员从此都明哲保身，只求保住自己的官位，不再有人敢于直言进谏。
李林甫想要堵塞玄宗的视听，独揽朝廷大权，于是公开召集各位谏官，对他们说：“如今圣明的君主在上，群臣顺从都来不及，哪里还用得着多说什么！各位难道没有见过那些在宫前仪仗中站立的马匹吗？它们吃的是三品官的俸禄，一旦鸣叫一声，就会被立刻斥退，到那时后悔也来不及了！”
补阙杜璡曾经上书议论政事，第二天就被贬为下邽县令。从此，大臣们进谏的门路被彻底断绝了。
牛仙客既然是靠李林甫的引荐才得以担任宰相，遇事只会唯唯诺诺，对李林甫言听计从。但两人都严格遵守朝廷的规章制度，百官的升迁任用，都按照固定的程序进行，即使是有特殊才能和品行的人，也难免终老于常规的调任之中；而那些凭借阿谀奉承、奸邪阴险手段钻营的人，却能不按次序得到提拔，另有升官发财的门路。李林甫城府深沉，心思缜密，没有人能看透他的心思。他喜欢用甜言蜜语拉拢人，却在暗中陷害对方，脸上从不显露任何神色。凡是受到玄宗厚待的人，起初他都会主动去结交，等到对方的地位权势对自己构成威胁时，就会想方设法除掉对方。即便是老奸巨猾的人，也无法逃脱他的算计。