在位前期，任用、宋景等一代名相，，国力蒸蒸日上，在历史上留下开元盛世的美名，连大诗人饱受离乱之苦的时候，回忆起当年的盛世，也是感慨不已，“忆昔开元盛世日，小邑犹存万家室。” 可是后来，李隆基逐渐发现处理繁琐的政事远不如谈玄论道、著诗作文有意思，就渐渐丧失了对自己的约束。大凡一个领导放松管理，别有用心的人就会趁机钻 营。有一个大臣李林甫，是个不学无术的人。他什么事都不会，专学了一套奉承拍马的本领。他和宫内的宦官、妃子勾结，探听宫内的动静。李隆基在宫里说些什 么，想些什么，他都先摸了底。等到李隆基找他商量什么事，他就对答如流，简直跟李隆基想的一样。李隆基听了挺舒服，觉得李林甫又能干，又听话，比张九龄 好。张九龄因经常劝谏李隆基而让他反感。 李林甫
李林甫想，自己要成为皇上最宠信的人，必须把皇帝重用的大臣弄下台。他终于找到了机会。中书 侍郎严挺之的前妻被他休弃以后，另嫁蔚州刺史王元琰。后来王因被告贪污收入狱中，严挺之详察此案，发现证据不足，将他保释出来。李林甫马上意识到此案大有 文章可作，严挺之和丞相张九龄，裴耀卿都是清流一党，平日互相仰慕，引为知己，那是朝野共知，他们向来一齐和自己为难，这次实在是一箭数雕的大好机会。 李林甫托内侍在李隆基面前密告严挺之私放贪污重犯，有徇私舞弊的嫌疑，并请皇上征询宰相的意见后再作决定。李隆基找来张九龄，问他对此案的看法，张据实 直言，严挺之历来公私分明，王元琰的夫人诚然是他离异的前妻，但是并无私情牵扯在其中。李隆基冷笑，心想：“并无私情？只怕是故敛情深吧！”当即下令把王 元琰重新拘禁严查。再细细思量，张九龄平日看似公正严明，关键时候竟然还是偏帮私党，实在让人寒心，于是罢去了张九龄和裴耀卿的相位，并将严挺之贬官千 里。当张九龄、裴耀卿两位叩头谢恩，黯然神伤蹒跚着走出正殿的时候，李林甫望着他们的背影嘿嘿冷笑道：“看你们今日还敢自称左右丞相？” 李林甫得以升任丞相，除了设计扳倒张九龄以外，也是他平日紧密勾结内宫的回报。当时玄宗甚是宠爱武惠妃，李林甫就全力巴结这位权倾内宫的人物，但太子李 瑛并非她所出，武惠妃一直深以为恨。李林甫探知她的心意，也觉察到李隆基其实并不喜欢太子，只是碍于舆论不敢妄动，这种有赚无陪的好买卖岂有不作之理？他 鼓动其他人诬告太子谋反。李隆基正愁没借口，让群臣讨论废太子之事。张九龄等人搬出隋文帝误废太子最终丢了大好江山的案例，竭力替太子洗明冤情，唯独 李林甫在一旁一言不发。李隆基眼见阻力很大，一时下不了决心，散朝后单独召见李林甫，李只说了一句话，这些都是天子的家事，外臣根本没资格插嘴的。玄宗立 时转忧为喜，也为李林甫的忠心所感动，狠心废掉了太子。李林甫为了杜绝后患，纠集一帮官员将太子和另外两个王的勾连谋逆案坐实，并将他们一并处斩。 李林甫一当上宰相，第一件事就是要把李隆基和百官隔绝，不许大家在皇帝面前提意见。有一次，他把谏官召集起来，公开宣布说：“现在皇上圣明，做臣下的只 要按皇上意旨办事，用不到大家七嘴八舌。你们没看到立仗马吗？它们吃的饲料相当于三品官的待遇，但是哪一匹马要是叫了一声，就被拉出去不用，后悔也来不及 了。”
有一个谏官不听李林甫的话，上奏本给李隆基提建议。第二天，就接到命令，被降职到外地去做县令。大家知道这是李林甫的意思，以后谁也不敢向玄宗提意见了。
李林甫知道自己在朝廷中的名声不好。凡是大臣中能力比他强的，他就千方百计地把他们排挤掉。他要排挤一个人，表面上不动声色，笑脸相待，却在背地里暗箭伤人。
有一次，李隆基在勤政楼上隔着帘子眺望，兵部侍郎卢绚骑马经过楼下。李隆基看到卢绚风度很好，随口赞赏几句。第二天，李林甫得知这件事，就把卢绚降职为华州刺史。卢绚到任不久，又被诬说他身体不好，不称职，再一次降了职。
一天，李隆基突然想起严挺之，他问李林甫：“严挺之还在吗？这个人很有才能，还可以用呢。” 李林甫心里一震，说：“陛下既然想念他，我去打听一下。”退了朝，李林甫连忙把严挺之的弟弟找来，说：“你哥哥不是很想回京城见皇上吗，我倒有一个办 法。”严挺之的弟弟见李林甫这样关心他哥哥，当然很感激，连忙请教该怎么办。李林甫说：“只要叫你哥哥上一道奏章，就说他得了病，请求回京城来看病。”
严挺之接到他弟弟的信，真的上了一道奏章，请求回京城看病。李林甫就拿着奏章去见李隆基，说：“真太可惜，严挺之现在得了重病，不能干大事了。”李隆基惋惜地叹了口气，也就算了。
李林甫当了19年宰相，一个个有才能的正直的大臣全都遭到排斥，一批批钻营拍马的小人都受到重用提拔。就在这个时期，的政治从兴旺转向衰败，“开元之治”的繁荣景象消失，接着出现的就是“天宝之乱”。