玄宗时期有一位与主子一同沉浮的“老奴”大宦官，名叫高力士（684—762）唐朝玄宗时大宦官。本姓冯，名元一，高州良德（今广东高州东北）人。幼时被岭南地方官阉割，后贡入宫廷，因宦官高延福收其为养子而改姓高。玄宗李隆基未立时，高力士即“倾心奉之”，并随其参预宫廷政变。玄宗即位后，高力士知内侍省事，进封渤海郡公，四方奏事都经他手，权力极大。
高力士，他的家族，是极为显赫的大家族。原居住在北方。五胡时期，社会大动乱，冯家辗转迁徙，最后托身于越族聚居的岭南地区，逐渐发展成为一支重要的政治力量。
他的曾祖冯盎，在隋文帝时先后任过县令、刺史和太守等职；在隋炀帝时曾随驾征伐辽东，升任左武卫大将军，成为皇帝的近臣。隋末天下大乱，英雄豪杰乘势而起。冯盎也乘机扩展势力，在岭南拥有“二十余州，地数千里”，成为雄视一方的霸主。
唐王朝乘隋末乱世起兵建国后，首先致力于削平北方各地的割据群雄，到武德四年（621），以大将为岭南抚慰大使，招抚岭南各州。次年7月，冯盎归服。唐朝廷将冯盎所献地区划分为八个州，授予他上柱国、高州总管，封为越国公，仍由他管辖这些地方。同时，冯盎的两个儿子也被任命为刺史。冯氏父子，以遗臣而摇身一变，又成为唐王朝的新贵。
在冯氏家族的女性先祖中，有一位声名威扬的洗夫人（民间传说本名阿英），即冯盎的祖母。洗夫人的母家，世代为南越族的首领，跨山据洞，其部落之众多达十万余家。这家族在时的岭南少数民族中，势众财雄，有威望。这位洗夫人，至今在海南岛和她的家乡湛江地区，仍被民间尊奉为“婆祖”、“姑太”。史书记载，洗夫人聪慧贤明，富于谋略，长于筹划。成人之后善于约束抚慰部众，并具有出征用兵的军事才能，是位勇谋兼备的少数民族女英雄豪杰。
洗夫人在母家的志行美名，被当时的罗州（今广东化州县）刺史冯融所熟知看重，便礼聘娶她为儿子冯宝的妻子。冯宝任高凉（今广东阳江县）太守。冯洗两姓联姻，是岭南地区汉、越民族融合发展具有强烈的政治色彩。
冯氏家族迁至岭南后，虽然几代都担任地方长官，由于是羁旅他乡，因而号令难行。冯融洞察情势，巧妙地运用联姻策略，打破了长期相持的僵局。洗夫人由越族女儿变成汉家之妇，这特殊身份和家族关系，使她在民族团结发展的事业中，发挥了独有的杰出才能。洗夫人卒于602年，享寿达91岁。她生前被隋文帝册封为谯国夫人，死后赐谥号诚敬夫人。洗夫人及其后代，自南朝梁、陈至隋、唐，统治管理广东南部地区达百年之久。
冯氏家族的声威势力，在隋唐之际达到了最盛期。冯氏势力的扩展，其一是与岭南越族的其他豪强大姓发生矛盾冲突；其二是与唐朝巩固统一，加强中央集权的国策相冲突。冯盎据八州之地，野心勃勃，高祖在位末年，就以武力反唐。即位后，以软硬兼施之策对付冯盎，暂时缓和了几方面的矛盾。贞观五年（631），在唐王朝的恩威并用下，冯盎入京朝贡。
统一全国日益强盛的唐朝，不允许地方割据势力分割国家的土地、人口，与中央分庭抗礼的局面存在。唐王朝一再采取措施，削弱地方割据力量。贞观初年，唐太宗下令依天下山川形势，划分全国为十道（监察区）。其中岭南道包括五岭之南73州及安南都护府，即包括今广东、广西一带地区。唐高宗上元二年（675），唐王朝开始直接选派官员到岭南任职，逐步代替“土官”（即就地任命地方豪强和种族首领为政府官员）。这种政策在一定程度上加强了中央对南方地区的直接统治，对地方割据势力的削弱打击，冯氏家族的势力一直是受到唐王朝密切关注。贞观二十三年（649），冯盎去世。次年，唐王朝将高州都督府的辖地分割为高、恩、潘三州，以冯盎的儿子和侄子分任各州刺史。冯盎兄弟三人，他们的儿子辈多达数十人，仍然具有雄强威势。冯盎的几个儿子都任刺史职务，其中有一人娶礼部尚书许敬宗之女为妻。但从冯盎的孙辈开始，冯氏家族的势力急剧衰落下来。
冯君衡是冯盎的孙儿之一，就是高力士的父亲，曾任潘州刺史。冯氏家族遭受严重打击的“家难”，就发生在冯君衡这一代。史书记载他本人于称帝初年身亡时，冯君衡因犯罪被籍没抄家，女儿冯嫒被俘没入宫，后来为尼姑；幼子被送往京城，入宫当了宦官。
高力士的生母麦氏，是隋朝将领麦铁杖的曾孙女。麦铁杖在隋文帝时为骠骑将军，后来战死于“渡辽之役”。他的儿子麦孟才，死于隋末的“江都之乱”。
冯氏遭遇“家难”，高力士年约10岁。母子被强行分离，麦氏抚高力士痛哭道：“这次相别，不知何时能再见面。你胸前生有七个黑痣，别人说你日后必定显贵。你爱为娘手上这双金环，我会留着它，等到相见时让你辨认。儿啊，娘若不死，再能与你相见，你千万不要忘了娘的话！”从力士母子骨肉离散不能相顾的情状，可想这场“家难”的悲惨。
高力士被籍没入官府后，即受阉割，后由岭南讨击使李千里带到洛阳，贡入皇宫。女皇武则天见他生得面貌端正，性情机敏，便留他在身边听候使唤。后来，力士因犯下过失被责打一顿赶出皇宫。宦官高延福将力士收为养子，从此便改姓为高。
高延福出自则天女皇的侄子武三思之家。武三思受封为梁王，受到姑母的重用。高延福与武三思家有什么往来之事，都让高力士传递话语，他得以经常进出武三思的府第。过了一年多时间，高力士就又被召回宫中听差。高力士在宫中逐渐长大，成人后身高六尺五寸（合1.73米）。长期在宫中供奉听差，高力士养成了谨慎细致，稳重忠诚的奴仆性格。他生性机灵，反应敏捷，勤于学习，能担当传达诏令敕书，被授予宫闱丞之职。
古代的宦官（太监），其身份地位从实质上讲，就是皇帝的“家奴”。宦官制度，是专制皇权的附属物。宦官身为“刑余之人”，要想爬上高位，作威作福，必须紧紧依附于皇权。而封建时代的皇宫中，围绕着最高统治权——皇位，父子、兄弟、夫妻之间，始终存在着错综复杂、尖锐激烈的斗争，经常发展到你死我活的血腥程度。在宫廷斗争的漩涡中，宦官是必定要被卷进去的人物。他们是皇帝的近臣，身不由己。如此一来，要想在宫廷斗争中避祸就福，宦官们善于观察风向势头，及时把握机会，以身投靠。若是选择得当，就会显贵加身，福荣尽至；如果晕头转向，不辨事态，轻则斥逐，重则丧生。而高力士，就是这样一位三者兼备的人物。自（李隆基）取得皇权的历史陈迹，来看高力士从一个身份低贱的小人物，逐渐爬上宦官首脑、皇帝宠臣。
唐朝建后，定都长安。从高祖、太宗到高宗（李治）当政时期，是稳定政治、经济逐步恢复发展的阶段。从武则天称帝到玄宗当政之初，经历了一个政治上的多事之秋。玄宗在位的四十多年间，是唐朝的繁荣时期。也是中国封建社会继西之后出现的又一个强盛时期，史称“盛唐”。
一代女皇武则天于神龙元年（705）11月，在洛阳的上阳宫寿终正寝，享年82岁。她的儿子中宗（李显）复位。李显性情庸懦，他的皇后韦氏却是一个权欲强烈的女人，一心想学婆母武则天的样子来行事。还有韦后所生的安乐公主，聪明漂亮，也想学祖母。纠缠废掉皇太子李重俊（中宗的庶长子），立自己为皇太女。中宗对这种荒唐要求没有怪罪发怒。皇太子李重俊遭受排挤，忍无可忍，率领一群禁军将士冲进皇宫，准备杀掉安乐公主及其党羽。但由于起事仓促，再加上禁军临阵反戈，政变未成反遭杀身之祸。李重俊兵败身亡，并未使韦后和安乐公主有所收敛。朝中大臣不断有人上奏中宗帝，揭发韦后一伙的逆乱行径。韦后与安乐公主察觉中宗已生疑心，便在公元710年6月，合谋在食物中下毒，害死了早已患病的中宗。
韦后在中宗死后，秘不发丧，随即扶立中宗的第四子、16岁的温王李重茂为傀儡皇帝，自己以皇太后身份临朝摄政。韦后将自家的兄弟子侄安排在重要职位上，掌握朝廷的军政大权。让党羽们鼓吹“韦氏宜革唐命”，准备重演武则天称帝代唐的故戏。江山社稷又一次面临危急之中。
韦后及安乐公主一伙的对手，中宗的胞弟相王李旦、胞妹太平公主等人。一场更大的政治较量展开了。
李隆基（李旦第三子），年方26岁，封为临淄王，任职为潞州（今山西长治）别驾。中宗被毒杀时，李隆基已于先一年冬天回到京城。韦后临朝摄政之日，正是李隆基暗中加紧准备政变之时。
李隆基早就暗中招募的私兵，在禁军中结交的豪杰人士。太平公主对侄儿的行动表示赞同和支持，还让儿子薛崇简任卫尉卿协助他。李隆基的秘密活动，被兵部侍郎崔日用所察知，崔日用原是韦后党羽，但他审时度势，决定投向李隆基。他将韦后一伙准备杀害相王和太平公主的密谋，通报给李隆基。
李隆基得此密报，决定提前行动，先下手为强。6月20日深夜，李隆基乔装潜入宫苑，亲自指挥政变。二鼓时刻，禁军将领葛福顺、内苑总监钟绍京等人，带领禁军和花木工匠，高呼“诛杀韦后，拥立相王”，攻击皇宫北门。守门禁军杀死他们的将领，开门接应李隆基。韦后在宫中惊闻事变，匆忙披衣奔往飞骑营避难。不料飞骑兵士也已倒戈，一齐涌上将她杀死，砍下脑袋去向李隆基请功。正在房里照镜画眉的安乐公主，被冲进来的军士砍倒在血泊之中。她的驸马武延秀没跑多远，也被杀死。天亮之后，政变大功告成。李隆基去向父亲禀报。相王拥抱儿子，流泪说：“宗庙社稷没有失坠，全靠你的力量啊！”两天之后，太平公主请少帝重茂让位给相王，少帝不肯。太平公主发怒道：“天下人心都拥护相王，这皇位不是你坐的。”太平公主伸手将少帝从皇位上拉了下来，然后受朝臣拜贺，登坐了皇位。
平定韦后的政变中，高力士的表现，史书上没有多少文字，李隆基为临淄王时，高力士就已“倾心奉之，接以恩顾。”这时高力士的地位尚不重要，他也没有参加6月20日的宫廷夜战。
平定韦氏之后，高力士受到李隆基信任，被奏请隶属太子内坊局，又升任内给事（宦官机构内侍省官员）这时高力士已经27岁，而李隆基还年长一岁，高力士对当时复杂险恶的局势，及时观察把握得清楚。
李隆基平难建功，因之被立为皇太子。其父李旦（睿宗）是个性情恬淡，不恋帝位的人，登基一年多后，李旦便下诏传位，自己甘作逍遥太上皇。李隆基于先天元年（712）8月，接班称帝。此时他并未完全掌握政权，朝中的七个宰相，竟有四个是投靠在太平公主的门下。太平公主的性情，与哥哥李旦截然不同。他遇事沉敏，胸怀谋略，富有政治野心，与母亲武则天极为相似。她仗着身为太上皇之妹，参与政变有功，多方干预朝政。先天二年（713）6月，太平公主与她的党羽宰相窦怀贞、岑羲、萧至忠、崔浞以及禁军将领常元楷、李慈、李钦等人密议，准备于7月4日举兵，废掉李隆基。宰相之一的魏知古将太平公主一伙的密谋，立即禀报给李隆基。李隆基与嫡亲的伯母韦皇后刀兵相向的血腥未散，又与嫡亲的姑母太平公主展开了斗争。
李隆基召集自己的兄弟岐王隆范、薛王隆业、宰相郭元振、龙武将军王毛仲和亲信大臣姜皎、李令问、王守一、宦官高力士、果毅李守德等人，商议铲除太平公主的具体方案，决定对太平公主提前一天，立即行动。
就在7月3日，王毛仲奉命调集300人马，率领李令问、王守一、高力士等人，以突然袭击方式，先杀掉了宫卫禁军中的太平公主亲信常元楷和李慈。接着又在朝堂上捉拿宰相萧至忠、岑羲等人，当场斩首。另一宰相窦怀贞外逃后自知难免于死，遂自缢而亡。太平公主闻后，急忙逃入山中寺院，三天后回到自己府宅，也被赐死于宅中。宰相崔浞先被贬官，后赐死于荆州（今湖北江陵）。她的儿子以及党羽受牵连数十人被处死。
这年12月太平公主的势力被消灭后，朝政大权完全集于李隆基手中。唐王朝动荡了七年之久的政治局势，至此安定，改年号为“开元”。
高力士在唐玄宗李隆基诛灭太平公主的斗争中，参预了谋划和具体行动，成为玄宗“休戚共同”的政治伙伴，因功得到升迁。高力士为右监门卫将军，知内侍省事。
高力士一跃而成宦官首领，受到玄宗李隆基信任和器重，而王毛仲是玄宗控制禁军的亲信人物。在平定韦后和铲除太平公主的两场事变中，玄宗都是依靠宫卫禁军取得成功的。对禁军的重要地位早就十分清楚。王毛仲系出身微贱的高丽人，是李隆基当临淄王时的家奴。他生性明悟，做事干练，深受主子信任。另外，还有一个背主逃亡的贱人李守德，身手矫健长于骑射，李隆基花费5万钱为他赎身，收为心腹干将。削除太平公主时，王毛仲表现奋勇立下大功，玄宗对他越发宠爱信任。如果几天不见王毛仲，玄宗就感到若有所失。君臣相见，常常饮宴通宵，欢洽异常。王毛仲因功授辅国大将军、左武卫大将军、检校内外闲厩兼知监牧使，封霍国公，实授封户500户。他得到赏赐的庄宅、奴婢、驼马、钱帛不可胜记，两个夫人同时被封为一品命妇“国夫人”，幼小的儿子也被封为五品官。开元十三年（725），王毛仲为人威严，忠心维护皇权，又被加授开府仪同三司，获得了最高的功勋。
朝中权贵和禁军将领对王毛仲也畏惧三分。另外，王毛仲还与龙武将军葛福顺结为儿女亲家。禁军将领唯王毛仲之令是从。王毛仲确实是的实权人物。
王毛仲得到如此恩宠和高位后，却是小人得志，日益骄纵起来，常干一些越轨不法之事。他控制的禁军将领竟然无故白昼杀人，事后用钱买通法官，让凶手逍遥法外。起初，玄宗李隆基予以宽容而不责备，这也助长了王毛仲的张狂气焰。禁军在中宗时多以官奴充当，被人轻蔑地称为“北门奴”。北门奴大受宠幸，胡作非为，时间一长，引起了宦官们的嫉妒和愤恨。玄宗时常派宦官去慰问王毛仲等人。而王毛仲恃宠倨傲，对高力士这样的亲信宦官不放在眼中，对一般的小宦官，稍不如意，便是臭骂殴打，恣意凌辱，就象对待自己家中的奴仆。这样必然激起宦官集团的不满和仇视。高力士、杨思勖等大宦官，对王毛仲一伙尤其恨之入骨，暗中伺察找机会进行报复。
开元十八年（730），王毛仲伸手向李隆基要兵部尚书的职位，李隆基没有答应，他便形于词色，口出怨言。玄宗之所以将王毛仲当作心腹委以重任，是因其出身低贱，没有什么社会势力，易于控制和指挥。如果让王毛仲职掌兵部，握有实权，将会产生什么恶果？李隆基心中的警觉和忧患意识，对王毛仲的信任发生转变。经这一次，不再是漫不经心，而是龙颜不悦了。
高力士对这些事态变化，看在眼中，预感到出恶气报夙仇的时机将要来临。不久，王毛仲的妻子生了儿子。三日后，李隆基命高力士前去祝贺，按照惯例赏赐酒馔、金帛，并授这个新生儿五品官。高力士回宫后，李隆基问：“王毛仲高兴满意吗？”
高力士回答说：“臣下去了之后，王毛仲抱着他的儿子说：‘我这个儿子难道不能做三品官吗？’”李隆基一听，顿时满面怒气。高力士又进言道：“这些北门奴官位太高，而且他们上下勾结，抱成团伙。陛下如果不预先处置，早晚会弄出大祸事来。”
高力士的话带有几分推论，打中了李隆基的心病。宠极生骄的王毛仲却不知祸将临头，竟私自向太原军器监调取兵器铠甲。这事被担任少尹的严挺之立即上报给李隆基。问题的严重性，促使李隆基采取了果断措施。
李隆基在开元十九年（731）正月，诏书急下，贬王毛仲为州（今广西南部，靠近越南）别驾；其他禁军将领葛福顺、李守德、王景耀、卢子龙等人也都解职贬往边远之地。被牵连的还有王毛仲的四个儿子和党羽数十人。当王毛仲行至永州（今湖南零陵）时，李隆基又下了一道赐死的诏书，以谋反的罪名将王毛仲一伙贬逐后，对宫廷禁军进行了整顿。曾参预平定韦后的陈玄礼，淳朴忠诚，升为龙武大将军，担负宿卫宫禁的重任。高力士掌握皇宫仗内卫队飞龙禁军。这样一来，宦官的地位得到提高，越来越盛，成为李隆基重用的内廷力量。高力士在天宝年间的职衔勋位冠军大将军、右监门卫大将军、骠骑大将军。
唐太宗贞观年间定下制度：宦官机构内侍省不设三品官职。武则天执政后，发生了变化，宦官人数开始增加，超升七品以上官位的多达千余人。这时宦官当中品级较高的很少，没有染指朝政事务。李隆基即位后，宦官日益重用。只要有才能得到信任授予三品将军的职位，家门前可摆设油漆的木戟。这种木戟，在汉代原是官员出行时作为前导的仪仗用物。唐朝时规定，官阶勋位三品以上者，私宅前设立油戟，以表主人高贵身份。
李隆基执政朝代最为显贵的宦官人物，是高力士，其次是杨思勖。杨思勖从小就当宦官，参加过玄宗发动的宫廷事变，因功升为左监门卫大将军，深受玄宗信任。杨思勖为人勇武，生性凶猛残忍，杀人不眨眼，常年受命统军在外征讨，先后带兵平定南方和西南地区的少数民族首领叛乱，战功显著。杨思勖后来升至辅国大将军、骠骑大将军，他的私宅也有兵将防守，所得赏赐无数。
另外，显贵的宦官还有黎敬仁、林招隐负责出使传宣诏命；尹凤祥掌管书院；其余孙六、韩庄、牛仙童、李大宜、袁思艺等人，也都身受重任。他们出使监军，权力超过节度使，经过郡县，地方官战战兢兢，丝毫不敢得罪。这些显贵宦官，如杨思勖死于开元后期，其余也有因罪被罚而荣宠不过一时的。唯独高力士长期居于内宫，深得李隆基信任眷顾。
高力士对玄宗棋影响也最大，他的显贵，大约从开元十年（722）前后开始。李隆基吸取祖母武则天代唐为周和韦皇后擅政的教训，于开元十二年（724）7月废掉他的皇后王氏之后，不再正式册封皇后，目的是不让皇后插手朝政。把朝政大权交给外朝宰相，总觉得不能十分放心。于是，李隆基便挑选身边的亲信宦官来协助处理军政事务。这就使高力士有了适逢其会。史书记载：全国各地呈上的奏章，都先经高力士审阅，再转呈玄宗批示，小事有高力士直接处理。高力士经常住在宫内，李隆基常说：“有力士在这里值班，我才睡得安稳。”
宦官执掌中枢机要，在皇帝身边形成了与外朝宰相相对抗衡牵制的“内朝”。原先内侍省长官“内侍”的官位是四品，这时升为正三品级的“内侍监”，地位和外朝宰相相同的级别。
唐朝历史，自高祖李渊称帝后，身边创业开国的元勋之臣，称作“太原元谋功臣”，无需另外再培植亲信。太宗登基后，身边是参与过“玄武门之变”，帮他夺取皇位的功臣，以及秦王府的旧人，轮不上宦官来参政效忠。高宗李治即位后便有所不同了，宰相长孙无忌、褚遂良等人都是先帝的旧臣，不好使唤，为夺过权力，只好依靠多智多计的武昭仪（即武则天），在自己身边形成与宰相抗衡的“内朝”。武则天当政的晚年，以自己的男宠为“内朝”。中宗复位，韦皇后擅权形成“内朝”。而玄宗李隆基称帝后，又与以前各不相同，充当内朝的角色也就不同了。
高力士的地位，自从掌管内侍省事务后，日益显赫，权势令人侧目，前来巴结附会的人，也就多得不可胜计。他手下的那些宦官，受命出使监军、办理拜佛诵经及布施恩惠一类的功德事务，到各地去采买珍奇鸟兽等，都是可以借机招贿勒索钱财的差事。至于派谁去干这些“肥差”，全凭高力士一句话。自然，高力士少不了从中“坐收渔利”。朝臣中那些希图早日升迁的，以及投机钻营的人物，如官至大将、宰相的宇文融、李林甫、盖嘉运、韦坚、杨慎矜、王琪、杨国忠、安思顺、高仙芝、安禄山等人，虽然都是有才干而得到玄宗宠幸，先后被委以重任的，文武官员都巴结讨好于高力士，请求高力士在皇帝面前为他们扬功美言。
高力士少年时因“家难”与生母别离。高力士显贵后，岭南节度使派人寻访到麦氏，接生母麦氏来。别离三十余年，麦氏问：“当年分别时，我说的话你还记得吗？”高力士回答：“你说过儿胸前有七个黑痣。”麦氏急问：“还在吗？”高力士连忙解开衣服，让母亲认看。这时，麦氏也拿出保存下来的一双金环，让儿子辨认。至此，母子二人方才相互确认，悲切流泪，抱头痛哭。
李隆基听说此事后，立即传命召见麦氏，恩封她为“越国夫人”，并追赠高力士亡故多年的父亲为广州大都督。麦氏便住在儿子养父高延福家中。高延福也享受和麦氏同样的侍候奉养。宰相张悦（封燕国公）为麦氏作墓志铭中有“验七黑于子心，辨双环于母臂”，说的便是这段故事。
麦氏来到长安备受奉养时，左金吾大将军程伯献与少府监冯绍正，同高力士结拜为兄弟。麦氏去世后，程、冯二人披麻戴孝，在麦氏灵前跪拜并接受宾客吊唁，二人悲哀号哭的模样，甚至超过送葬自己的双亲。尽管高力士势倾朝野，程、冯二人认干亲攀权贵的做法，便是受到人们耻笑的故事。
宦官虽然会受到皇帝宠信，但也受到耿直人士的鄙视。宦官以“刑余之身”还要结婚娶妾，就更是一件不伦不类的畸形事情。开元初年，吕玄晤河间（今河北献县）人在京城当小官吏，他有个女儿长得很漂亮，被高力士聘娶为妻。因为这层裙带关系，吕玄晤后来官位升到岐州（今陕西凤翔）刺史，他的子弟中还有担任皇族宗室王傅的。更引人注目的是，高力士的这位吕氏夫人去世时，朝廷上下争着赠送财礼和参加送葬的人，从高力士的府宅排列到京城东面的墓地白鹿原，络绎不绝。还有一事可见高力士的地位之显要。修建宝寿寺大钟铸成后，高力士设宴请客，朝廷大小官员都前往祝贺，规定凡敲钟一下，要捐献礼钱十万。有人为讨好巴结高力士，一气敲了二十几下，还感到不够；敲得少的也在十多下。所收捐献礼钱归已所有。
高力士在京城的来庭坊修有佛祠，在兴宁坊建有道观，这两处的殿堂楼台，与官修的寺院道观不相上下。高力士还在京城西北的沣河上拦水筑坝，安装了五座水磨，每天可碾麦300斛（10斗为1斛），收取工钱。史书记载，由于玄宗宠信宦官，京城中最好的房宅，京畿一带最肥沃的田地、果园、池沼，有近一半是宦官所有。高力士身居高位，享有优厚俸禄，更有玄宗给予的大量赏赐，再加上广纳贿赂礼物，他的家财十分殷厚。
高力士多是在宫中侍奉玄宗。李隆基寝殿旁边有一座专为高力士修造的小院，房舍精致考究，其中还有专供念经拜佛的安静场所。李隆基称他“将军”而不呼名，皇太子称他为“二兄”，宗室诸王和公主称他为“阿翁”，驸马辈称呼他为“爷”。高力士在宫中的地位越来越高，不同一般。
高力士在开元末年，曾向玄宗李隆基说：“臣生于边鄙蛮荒之地，长在升平盛世，身受皇上恩宠三十多年，常心怀粉身碎骨，竭尽忠诚，报答皇上的愿望，以有助于国家的长治久安。”
李隆基即位之初，，勤于政事。首先致力于革除武周以来的弊政，仿效太宗当政时的“贞观故事”。在史书上盛称的“开元之治”突出表现，就是选任贤能。李隆基先后重用久负盛名的和宋为宰相。姚崇阅历丰富，明于吏道，理政果断，很有魄力，被誉为“救时宰相”。宋为官重“守法持正”，敢于犯颜进谏。姚、宋二人将国事处理得井井有条。
在姚崇担任宰相职务的第二天，李隆基从打猎的渭川回到京城，姚崇就几个郎官晋升的事向李隆基请示。他连奏三次，李隆基却仰视殿堂顶上，不予答理。姚崇不明态度，心中不安，急忙退出。这时，高力士在场，轻声进谏道：“陛下刚刚总理万机，宰臣前来请示，陛下应表示可否，为何一言不发呢？”李隆基回答：“朕任命元之（姚崇的字）为相，如果有关国政大事，他自然应当奏闻，与朕共同商议。可象郎官升迁这类小事，他自己决定就行，为何还要来麻烦朕！”
高力士在几天后遇见姚崇，向姚崇传告了李隆基的话。姚崇心中明白。感到非常激动和高兴。
高力士对李隆基是胸怀忠诚的。古代的军国大事中，皇太子也就是皇位继承人问题，关系国家根本。而历代皇帝处理此事，总是不免波折。自统一天下，确立了皇帝制度后，在天下百姓心中，皇帝君临万民，主宰一切，威权至高无上。每当世乱动荡，总有英雄豪杰四方而起，争夺天下统治权。就是在统一的王朝中，心怀二志企图篡夺皇权的臣子也不乏其人。而在皇室内部，尽管早有历代传下来的嫡长子继承皇位制度，具体执行起来，并不顺利的。其中有三方面原因：一嫡长子未必个个都是圣明君王的材料；二皇帝一般都是儿子众多，被立为皇太子的未必就合皇帝的心意；三皇子们最容易不安分守己，争夺皇位以至骨肉相残势所难免。唐玄宗李隆基本人，论其圣明，可与曾祖太宗相比；论其残暴，可与前朝隋炀帝相比。在册立太子一事上，他的作为就是后世指责的话柄。
李隆基的后妃们共生育了30个皇子，30个公主。皇长子李琮的生母刘华妃，身世事迹史书上没有记载，可见并不得宠。而且，李琮本人在打猎时被野兽抓伤破相，不适宜当太子。开元二年（714），次子李瑛被立为太子。李瑛的生母赵丽妃，容貌美丽，能歌善舞，是玄宗李隆基称帝前在潞州任职时所纳。李隆基特别喜欢音乐歌舞，对赵丽妃深受宠爱。李瑛能立为太子，正是子以母贵，母宠而立其子。李隆基的皇后王氏，生于官宦人家，曾参预李隆基发动的宫廷事变，两人可谓患难夫妻。不幸的是，王皇后一直不育。于是，她将李隆基另一个妃子杨氏所生的儿子（即肃宗李亨，排行老三）领养过来，关怀慈爱，如同亲生。但册立太子时，王皇后的心愿却未能实现。这使得王皇后心中常怀不安，对李隆基称帝后宠爱武惠妃也是愤然不平，时有牢骚。李隆基内心不悦，但因王皇后处事谨慎，待下有恩，一时不便废掉。王皇后之兄王守一见妹妹失宠，便暗请僧人明悟为之祈神求子，并画写木符佩戴于身。这种迷信做法，在古代属于皇帝最为忌讳的。开元十二年（724）7月，此事被人告发，李隆基立即下令废王皇后为庶人，贬入冷宫。王守一被贬官赐死。10月，王氏忧郁而死，之后，武惠妃得宠。她是武则天的侄孙女，与李隆基是表兄妹，从小在宫中长大，十五六岁时被纳为妃子。武惠妃颇能生育，生二子一女，接连天亡。及至寿王李瑁出生，李隆基让送到大哥宁王府中抚养。李瑁在皇子中排行为十八。
武惠妃虽没有皇后头衔，而礼遇实同皇后。寿王长大后深受李隆基钟爱，非其他皇子所能比。开元十四年（726），李隆基想立武惠妃为皇后，但遭到朝臣的反对：“武氏乃不共戴天之仇，其后代岂能为国母！”李隆基心里明白，若强行其事，就会引起政局波动，其因是祖母武则天代唐为周留下的政治阴影太深。十年光景又过。这时太子李瑛已近30岁。另外两个皇子老五鄂王李瑶，老八光王李琚，都富有才识，得到父皇喜爱。这哥仨的生母，都已被父皇疏远。因此遇到一起时，总免不了发泄几句埋怨牢骚话儿。而武惠妃早就指使她的女婿、咸宜公主的驸马杨洄暗中监视太子等人。开元二十四年（726）岁末，太子等人相聚，被杨洄探知后密告武惠妃。于是，武惠妃向李隆基哭诉道：“太子他们私下勾结，企图加害臣妾母子，他们还大胆指责陛下。”李隆基听了大怒，立即召来宰相张九龄、裴耀卿、李林甫，商议废掉太子之事。
张九龄忠耿正直。他明白玄宗李隆基的心思。他坚持说道：“陛下三子都已成人，未闻有过大的错失，为何要听信传言，凭一时喜怒而废掉？太子关系国家根本，切不可轻易动摇！”李林甫这时的地位，排在张九龄之下，当着李隆基的面，他没有明确表态，但退朝后却对高力士说：“这是陛下的家事，何必问外人。”张九龄之所以阳奉阴违，早已暗中巴结武惠妃，表示愿意尽力扶持寿王。武惠妃得知张九龄态度坚决，悄悄派宫奴牛贵儿前去拉拢疏通。张九龄将牛贵儿大骂之后赶出家门，立即面奏李隆基。李隆基深受感动，废立太子的风波暂时停止。
不久，张九龄和裴耀卿相继被借故罢免，由李林甫接替了张九龄的职位。开元二十五年（737）4月，武惠妃又指使杨洄诬告太子等人企图谋反，李隆基再次召宰相商议。这回李林甫还是那句老话：“这是陛下的家事，非臣等所宜干预。”这促使李隆基最终横下决心，立即派宦官于宫中宣旨：将太子及鄂、光二王废为庶人。随即，将这三个亲生儿子赐死于京城东驿。
“三庶人”事件之后，武惠妃总是恶梦缠身，心惊胆战，恐惧成疾。李隆基命巫士于宫中祈神驱鬼，仍无济于事。12月，武惠妃暴病身亡，享年只有39岁。
武惠妃死后，李林甫几次劝李隆基立寿王为太子，李隆基，一拖就是半年多。
开元二十六年（738）5月，54岁的李隆基心力交瘁，愁容满面。谨慎机灵的高力士觉得是自己发言的时候了，便道：“陛下寝食不宁，是否因膳食不合口味？”
李隆基长叹一声道：“力士，你是朕的老奴，难道也不明白朕的心思！”
高力士忙道：“陛下忧心伤神，可是为太子的人选？”
李隆基说：“是啊，是啊。”
力士又道：“陛下何必如此虚劳圣心，推长而立，谁还会有异议！”
李隆基听了高力士的话，有所醒悟地说：“你说得对，你说得对。”顿时他愁容舒展，定下了主意。三皇子忠王李亨被立为太子。一场宫闱废兴的轩然风波在6月终于平息下来。
在太子废立一事上，高力士表现出与李林甫不同的性格特点。李林甫善于察言观色，揣测皇上的心意，专以阿谀逢迎为能事，处处将个人权位得失置于国家安危之上。高力士也是善于顺从李隆基心意，但他却是“顺而不谀，谏而不犯”，很会选择时机提出有益的意见，遇到李隆基不高兴时，便不去犯颜进谏。废立太子，高力士的建议最终起了作用，这反映内朝宦官与外朝宰相之间相互抵制争夺，统治集团内部的互相倾轧。出现分歧斗争，明争暗斗愈演愈烈逐步转入恶化状况。
李隆基当政的开元、天宝之际，是唐朝开国百年来最繁盛的时期。当时的米价，长安和洛阳两地是一石（120斤）不到200钱。行人万里远途，不用带兵器，路不拾遗，夜不闭户，商旅野宿，社会安定，风俗淳厚。京城和各地州县的仓库中，都存满着粮米布帛。诗人就生活在这个时期，对当时社会的兴旺繁荣景象，他是目睹耳闻过的。在《忆昔》诗中，杜甫曾赞美道：
忆昔开元全盛日，小邑犹藏万家室。
稻米流脂粟米白，公私仓廪俱丰实。
九州道路无豺虎，远行不劳吉日出。
齐纨鲁缟车班班，男耕女桑不相失。
李隆基在天下大治，欣欣向荣的太平盛世面前，并不是百尺竿头再进步，而是陶醉骄傲了，忧患意识松懈。随着年岁增高，进取求治的精神日渐衰退。开元后期，他倦于日理万机，将朝政事务交给宰相李林甫，自己懒得上朝听政。
李隆基作为皇帝，可主宰天下。作为人，难免生老病死。乞求长生不老的心愿，是每个皇帝都孜孜不忘的。李隆基即位之初，求治心切，思慕长生。史书记载李隆基精通医药，讲求养身之道。他是热衷于江湖方士的养生术和仙药。
李隆基在开元二十二年（734）时，行幸洛阳，将著名的方士张果召入宫中，礼遇很重。此后，李隆基对神仙一类荒诞事情颇为相信，带头搞崇道的热潮。全国各地新修了许多道观，方士道人成为皇宫中的座上宾；道教的始祖老子（春秋时思想家李耳）被追尊为“玄元皇帝”，老子及李隆基本人的“真容”画像、玉雕像、铜铸像，供奉于全国各地的道观里，受人膜拜。笃信神仙，由明而昏，导致荒政误国，这是玄宗李隆基从开元后期所走的一条昏庸之途。他醉心于炼丹、礼拜，每天四更起床，对老子像焚香顶礼。兴庆宫中设有道坛，各地名山中有道士和宦官立灶炼丹，祈求苍天使他“圣寿延长”，意味着他已把享乐养生放到了国事之上。自从开元二十四年（736）10月李隆基从洛阳返回长安后，便不复东幸。十年后的一天，李隆基在大同殿思念神仙道术，只高力士一人侍奉在侧。李隆基问：“朕安居长安一晃十年了，百姓丰足安乐，朝廷内外无事。朕想居于金殿之上，修学道家吐故纳新的养生之术，军国事务，全凭李林甫作主处理，你觉得如何？”
高力士叩头答道：“这些年来，陛下多次赐酒给臣，因而纵饮过度，患了风疾，时常言语错乱，多有失礼之处，所以不敢谈论国家朝政。陛下不以臣微贱，向臣垂询，我心里想启奏，但恐对陛下没有什么补助。不过，就我所了解到的，不能不尽忠上言。臣以为，军国大权，不可轻易全委别人。如果有人威权太重，朝廷内外人人惧怕的话，那么，朝政的得失，还会有谁敢上言议论呢？望陛下深思。”
李隆基面有不悦之色，说道：“十年来你对朝政没有多说话。今天说的这些，不合朕的心意。”
高力士急忙又叩头道：“臣常想如何尽心效忠，报答皇恩。方才说的话是些胡言乱语，都因风疾困扰，所以言语颠三倒四。臣未能领会陛下心意，罪该万死，顿首顿首。”
李隆基见力士惶恐不安，抚慰道：“朕和你休戚与共，不必为这点小事忧心害怕。来人，立即摆设酒宴，演奏歌舞，不要让高将军心里忧虑。”高力士拜伏谢恩，连呼“万岁！万岁！”以后，高力士再很少进谏，只是朝夕在宫内陪伴侍奉李隆基的起居生活。
李林甫执掌朝政后，当权行事，斥逐异己，口蜜腹剑。由于皇太子不是他支持拥立的，便屡次兴起狱案，企图动摇太子地位。朝臣中有御吏中丞杨慎矜、户部郎中王珙、酷吏吉温、罗希等人，阿从李林甫，充当爪牙。先后被李林甫一伙借故贬官害死的人中，有皇太子妃之兄户部尚书韦坚、太子少保李适之、皇太子的儿时伙伴，身兼河西、陇右节度使的王忠嗣等。李林甫病死之后，杨国忠接任其职。他是李隆基宠爱的的本家堂兄，是靠裙带关系而暴发的权贵。杨国忠浅浮轻躁，不顾国家前途和身后名声，只图眼前快活。他一身兼任四十余职，权势熏天。天宝十载（751）和十三载（754），杨国忠主持官军讨击南诏的战事，损兵折将达20万众，但他却假造捷报上奏蒙骗李隆基，一面继续派兵南征。杨国忠恃宠擅权，肆无忌惮，朝臣人人自危，敢怒而不敢言。李隆基深居内宫，求神学仙的李隆基被蒙在鼓里，不知外情，还在沾沾自得。对高力士说：“朕渐渐老了，心力有限。朝廷事务，交给宰相；边疆军情，由节度使处理。如此太平无事，朕感到优闲自在，你说怎么样？”
高力士回奏道：“这些年来臣住在宫内，听不到外面的议论。近日我在宫门外见到各地来京奏事的人，听他们说，云南的战事接连失利。陛下想到如何抵御南诏吗？北部边疆节度使权力太大，兵力强盛。陛下想过如何控制他们吗？凭皇上无比的威势和浩荡的恩泽，足以消灭异族的入侵，平息可能发生的变乱。至于其余的小事，就更不值一提。我担心长期这样下去，对意外变故不做防备，等到那时才去禁止，就太困难了？”
李隆基听罢点点头说：“看来我的病情近来好多了，你说的话，很合朕的心意。朕对这些事也有疑虑，所以才问你。你千万不要说出去，防止泄露。等到合适的机会，朕会调整改变。”
高力士伏地叩头回答道：“陛下英明神武，臣鲁钝无知，臣的话能合圣上的心意，就感到无比快慰。”
天宝十三载（754）秋天，阴雨连续两月不止，长安的房屋大量倒塌；洛阳河水暴涨，淹没了十几个坊区。庄稼受灾，李隆基心中忧患不已。而杨国忠却派人选取一些受灾较轻的禾苗，送给李隆基观看，并上奏说：“雨水虽多，但没有危害庄稼，请陛下不必过分忧劳。”与此同时，他又压制地方官员不许报灾。扶凤太守房房上奏报告辖区灾情，杨国忠立即派御史去整治，吓得其他州县长官都不敢如实言灾。但是，久雨不晴，杨国忠也没有遮天的本领，李隆基即使再昏头，也不会没有察觉。在高力士一人陪伴的时候问：“从天宝十载以来，朕有几次对朝政心生疑虑，现在果然出现了天灾，使百姓们遭殃。左相陈希烈已被免职，由韦见素接任。李林甫、杨国忠处理政务的方法各不相同，但始终不太合朕的心意。你总是不肯对我明言，你是怎么想的呢？”
高力士这一次感到可以畅所欲言了，他说出久蓄于心的话：“开元二十年以前，陛下授于宰相职权，但一直亲自处理朝政，不使宰相专权行事。边疆大将接受任命，都是尽职效力。自从陛下将威权都委托给宰相以后，便搞得法令不能很好施行，灾害异常每年都有发生，天时不顺。纵然陛下经常深为忧虑，但天下总是难免不安。臣一直不敢多说话，早就大有原委的。”高力士的话，李隆基听后沉默了许久，没有再问下去。
唐玄宗李隆基晚年所干的荒唐昏暴事情中，留给后世的责议最多的是专宠杨贵妃。
杨贵妃小名玉环，生于四川，父亲是一名品级不高的地方官员。她10岁时，父亲去世，由在洛阳任小官员的叔父抚养长大，17岁时，被选册为寿王李瑁的妃子。
李隆基开元二十五年（737），宫闱废立，一日杀三子。不久，武惠妃病亡。这场亲父杀子的风波，使李隆基心绪懊恼异常，直到立忠王为太子，才算去掉了一块大心病。李隆基在感情上所受打击可谓沉重，但伤天害理却是自己所为，恶果自种又自食，使他的精神状况急转直下，几年不能振作，心情郁郁寡欢。
内心孤独，感情空虚的李隆基，一想做个长生不死的方外神仙，又丢不开俗世皇帝的威权和享乐。繁忙的朝政令他心中厌倦；京城内外的名胜游乐之地也已兴味索然；武惠妃去世留下的感情空缺无人能够弥补，后宫粉黛成千上万，没有一个赏心中意。从小酷爱伎乐，精通音律的李隆基，此时虽已是五十多岁的老翁，一双眼睛却仍在寻觅国色天香，召至身边侍奉承恩。
替代武惠妃的人物，竟是她生前为儿子选的王妃杨玉环。杨玉环因何被皇帝公爹所中意。而杨玉环不仅长得模样标致，更优越的是精通音乐，善于歌舞，还能演奏各种乐器，技艺精妙，就连李隆基养在宫中的专业乐工——梨园弟子，也没有能比得过的。李隆基看中儿媳，仅用“好色”是解释不通的。人的相貌美丑，是爹娘生就的，而优美天赋和艺术才能，从却是千百人挑选而出。
李隆基看中儿媳杨玉环，这个馊主意是谁出的？史书上只是含糊其词地说“有人进言”。至于这个人是谁，没有明文可查。后世便有人猜测这是高力士出的主意。玄宗传记中也多持这种看法。稍作分析，便会觉得这种看法欠妥。这时，高力士追随李隆基已有三十年，身为宦官首领，已是显贵至极；掌握禁军护卫皇帝，可谓任当亲重。离间皇家骨肉，违背人伦道德，这种恶名罪过，以高力士谨慎精明的处世准则，是绝对不会去做的。高力士没必要以这种作为，向皇帝讨好邀宠。
李隆基看中儿媳，本是自己的主意。再说，唐玄宗李隆基之前，已发生过太宗将弟弟齐王李元吉的杨妃收为己有；高宗将先父之妃武氏（武则天）纳入宫中立为皇后。李唐先世源出“夷狄”，此类乱伦之事。
再如何想方设法，将寿王妃纳进皇宫。高力士要帮李隆基出主意。开元二十八年（740）正月，李隆基颁下一道《度寿王妃为女道士敕》，用为他的亡母窦太后“追福”的名义，允准杨玉环“自请”出家入道，道号“太真”。便堂而皇之地解除了杨玉环与寿王的夫妻关系，同时也解除了公爹与儿媳的亲属关系。然后，时年22岁的杨太真住进了宫中的太真观里。为寿王另选了左卫勋二府右郎将韦昭训的次女作新王妃。
杨太真于天宝四年（754），受册为“贵妃”，代替原先的婆婆武惠妃而成为无冕皇后。杨贵妃得宠，杨氏一门立时显贵，她的亡父亡母被追赠官爵封号，三个姐姐同日受封为一品国夫人，其余叔伯兄弟也入朝任官，还有娶公主当驸马的。杨国忠也就是从这时开始走运，成为政治上的暴发户。
杨太真入宫，李隆基如得“至宝”，整日沉溺在歌舞宴欢之中。杨贵妃乘马，都由高力士牵马执鞭。杨贵妃，是个杰出的艺术家，她没有热衷政治权力的欲望，但也不免宠极生骄，对李隆基同时爱幸别的妃嫔，时常妒嫉不满。天宝五载（746）7月。杨贵妃的妒心醋劲，惹得李隆基大发脾气，下令将她送回宫外的哥哥杨家里。
李隆基有一天，心神不宁，直到中午也不想吃饭。高力士明白其中情由，就试探着提出将贵妃院的器物用具装车送到杨家中。李隆基觉得这是个下坡台阶，便同意了。天晚时分，高力士又提出迎贵妃回宫。李隆基等待的就是这个保全自己体面的建议，立即命人打开宫门，接回贵妃。第二天，李隆基心情愉快，大摆宴乐，对杨贵妃的宠爱更加隆厚。
李隆基专宠杨贵妃，荒怠政事，带来严重的政治后果。丢掉了禁止后妃与外戚干政的戒心，对杨国忠加以信任重用。杨国忠恃宠专政。他打击异己不择手段，担任宰相，搞得朝政更加腐败。朝中大臣离心离德，唐朝的政治军事出现了严重危机，边疆节度使手握重兵成为混乱趋势。
唐朝在天宝初年，边疆设置了10个节度使，负责军政事务。随着手中权力的增加和长时间任职，这些节度使便成了所在地区的土皇帝。安禄山在这种局势下，逐渐羽翼丰满，野心膨胀，最后起兵叛乱。
安禄山在天宝十年（751）时，身兼任三节度使（平卢、范阳、河东），统辖15万军队。朝廷的禁军不过12万人。李隆基对安禄山，一再用赏赐、加官笼络，收买其心，使之效命。对安禄山的狼子野心，完全丧失了警惕性。高力士对朝中和边疆情势了然于心，找机会提醒李隆基：“北方节度使权大兵强，陛下准备如何来控制呢？”
李隆基未想出什么有效的控制方略，安禄山便举起叛旗。在天宝十四年（755）冬天，安禄山以“讨伐害国奸相杨国忠”为名，从范阳（今北京）起兵南下。只用了一个月时间，叛军就占领东都洛阳，安禄山自称大燕皇帝，然后派兵西进，直指潼关。急警传来时，李隆基正带杨贵妃在临潼华清宫寻欢作乐。他匆忙返京，调集兵马，拒守潼关。如果官军拒险固守，定能扼制叛军兵锋。可李隆基昏庸糊涂，听信杨国忠的建议，一再催促潼关守将哥舒翰出关迎敌。哥舒翰难违君命，时在天宝十五年（756）6月4日。开关出战，大败于灵宝。
安禄山叛军在6月8日，打破潼关。消息传来，长安一片惊慌，杨国忠奏请李隆基“西幸”避难。6月13日，在高力士和龙武大将军陈玄礼率领的2000名禁军保护下，悄悄出了京城，向西仓惶而去。第二天，队伍行至金城县（今陕西兴平）西二十余里的马嵬驿，发生了兵变。宰相杨国忠和儿子户部侍郎杨暄、御史大夫魏方进，被乱兵杀死。禁军围驿不散，李隆基无奈之际，下令缢杀杨贵妃。
此时，兵荒马乱，李隆基需要的是高力士和陈玄礼带领的禁军护卫逃命，所以，也就顾不上杨氏兄妹了。缢杀杨贵妃，就是由高力士亲自监督执行的。兵变之时，杨国忠之妻裴柔，杨贵妃之姐虢国夫人等已先行到达扶凤，被地方官员追捕斩杀而亡。
究竟这场兵变的主谋是谁？从表面看，有的认为是禁军首领陈玄礼；有认为是皇太子李亨的。其实都没说准要害。皇太子与杨国忠势不两立，他却无权指挥禁军。陈玄礼可以指挥禁军，但他与杨国忠并无直接的矛盾冲突，杀死宰相，围驿逼君，这是谁干的呢？冒着杀身灭族的风险。
很明显，事变的主谋，就是高力士。他长期以来，实际上控制着宫卫禁军；他长期以来，内心反对李隆基委权于宰相，并几次进谏；他明白杨国忠要让李隆基入蜀避乱，而杨国忠身兼剑南节度使之职，蜀地实际上是杨国忠的势力地盘。所以，为了不受制于人，必须在入蜀之前，除掉杨国忠。而缢杀杨贵妃，是为了不留后患。在兵变中，陈玄礼是从谋和实施者。至于皇太子，顶多只是预闻并赞同。
李隆基在6月15日，准备继续西行时，百姓拦皇驾，请求留下皇太子，统帅军民东向讨贼，收复京城。李隆基同意分给太子一半兵马，急速西行，经过四十多天的翻山越岭长途跋涉，到达成都。李隆基在四川安全地躲避了两年时间，后在高力士和陈玄礼的护卫下，又返回已经收复的京都长安城。
李隆基在马嵬事变后与皇太子李亨分兵分途，李亨会合从潼关败退下来的部分兵马，兼程北上，赶到朔方节度使的治所唐朝精兵集中的地区灵武（今宁夏灵武）。7月13日，李亨在灵武即位称帝（肃宗），改年号为“至德”，然后调集部署各路军队，一路进兵河北，一路收复长安。8月12日，灵武派来的使臣到达成都。李隆基得知太子即位，尊自己为太上皇，对高力士说：“吾儿继承大位，顺应天意民心，改年号为至德，是孝而又孝的意思。你和朕还有什么可忧虑的呢？”
高力士心情沉重地说：“陛下亲理朝政四十多年，天下太平无事。突然之间两京失守，百姓流离，西蜀和朔方成为两个皇帝暂居之地，黄河南北直至汉水的大片河山变成战场，天下臣民，无不痛心疾首。而陛下却对臣说还有什么可忧虑的！臣实在不敢赞同。古人曾经说过皇上忧愁是臣子的耻辱，皇上蒙受耻辱臣子就该身死。为皇上之忧而耻，为皇上之耻而死，是做臣子的本分。微臣不孝不忠，枉活到今天，听了陛下刚才的教诲，臣深感不安。”随驾在蜀避难期间，李隆基封高力士为齐国公。返回长安后，又授开府仪同三司。
肃宗指挥大军于至德二年（757）9月，收复了长安。随即派人入蜀奉请太上皇返京。当高力士和陈玄礼护卫李隆基沿旧路于11月返至凤翔时，随驾禁军只剩下约600人。肃宗派亲信宦官李辅国带3000精骑迎驾。稍作休整后，李隆基在骑兵簇拥下，三天后进入长安。肃宗为太上皇组织了盛大热闹的迎接仪式，让他仍居于兴庆宫。
这时的李隆基，已是73岁的老翁了。宫殿依旧，人事已更，他真正成了“高居无为”之人，不再管理天下事务了。次年冬天，李隆基与高力士来到临潼华清宫重游，昔日的繁华景象，已变成满目凄清。对杨贵妃的思念，使李隆基的清静日子过得不快乐。
虽然，安禄山已被儿子安庆绪杀死，但叛乱并未平息。肃宗忙于军政，还不时前往兴庆宫看望李隆基。为了让他过得快乐，肃宗命女道士玉真公主（李隆基之妹）、旧宫女如仙嫒、内侍王承恩和魏悦，一些梨园弟子，同高力士、陈玄礼一起陪伴侍奉在兴庆宫内。兴庆宫南面的长庆楼，下临大道。过往的百姓，看到太上皇在楼上时，总要参拜欢呼“万岁”。李隆基也常在楼下设宴招待这些臣民。有一次，遇到四川来京奏事的官员，就由玉真公主和仙嫒作主接待，赏赐酒饭。在受到太上皇接待的人当中，有羽林大将军郭英义。这件事引起了性情多疑的肃宗的敏感。特别是乾元二年（759），官军在相州（今河南安阳）吃了一个大败仗，叛军重占了洛阳，形势不容乐观。于是，李隆基的这些举动，使得肃宗心疑他与外人交往，将有所图。宦官李辅国也乘机进言道：“南内（兴庆宫）可能有别的图谋。陈玄礼和高力士会利用太上皇的威望，不利于陛下。”接着，李辅国又鼓动禁军将士叩头号哭，清将太上皇安置到西内（太极宫）。肃宗心中忧虑而伤感，沉默无言。
李辅国以肃宗的名义，于上元元年（760）7月18日，将兴庆宫中的300匹御马撤得只剩下10匹。李隆基也无可奈何，对高力士说：“吾儿被李辅国所迷惑，不能尽孝至终了。明早你与我一起到北内（大明宫）去。”
高力士次日一早，陪着李隆基来到大明宫。肃宗派人传话：“近几天患疹病，不能亲起拜迎。请太上皇在这里吃早饭。”饭毕，肃宗又传话：“请太上皇先回兴庆宫。”
李隆基士一行出了大明宫，没走多远，身后传来急促的马蹄声。回头一看，只见李辅国带着几百名铁甲骑兵，手持白刃，冲过来将他们四面围住。李辅国大声喊道：“皇上觉得兴庆宫地势低下狭窄，让我迎太上皇迁到西内去。”说着上前来抓李隆基的座马。事态突然，差点跌下马来。高力士急忙喝道：“李辅国不得无礼！”
李辅国对高力士骂道：“你这老家伙还不知趣，给我闪开！”说着手起刀落，砍了高力士身边的一个随从。而高力士毕竟是经历过大场面的人物，他奋不顾身冲上前去，抓住李隆基的马缰绳，大声争执道：“李辅国，你怎么可以如此惊吓太上皇！不管有什么变化，也不能不讲朝廷礼仪。你赶快下马，高力士对李隆基说。”李辅国本是出身低贱的飞龙小儿，在老皇帝和老上司面前，还未曾敢有半点张狂，只好下马行礼。
高力士又转身对骑士们说道：“太上皇让我向大家问好！”骑士们一齐收起刀剑，下马拜伏，高呼“万岁”。接着，高力士又叫李辅国和他一起为太上皇牵马，来到太极宫。
李辅国走后，李隆基老泪纵横，对高力士说：“今日要是没有你，我就成了刀下鬼啊！”直到天快黑时，才有十几名老宫女带着李隆基的日用起居衣物，其他的随从一见，都哭了。
李隆基当晚，就在甘露殿安歇。他睡不着，叹息了几声，对高力士唠叨：“兴庆宫是我做藩王时住的地方，我几次让皇儿去住，他仁义孝顺，不肯接受。今天虽说是被李辅国逼着离开了，也正合我的本意。力士，你吩咐管膳食的，从明天起，不要再做肉食荤菜，斟酌做些清素饭菜就行。”
高力士第二天起来后，让宫女们打扫殿庭，清除杂草，收拾清洁之后，陪着李隆基谈论佛教与道教的经义，免得他感到太寂寞。高力士想法子找些杂七杂八的话题，希望他能够高兴，不想迁居不愉快的事情。
高力士在几日后，患上疟疾，搬到不远的功臣阁去养息。有天傍晚，门外传来人声，高力士隔门一问，才知是宦官啖庭瑶，声称是皇帝传唤力士。高力士忙问：“你见过太上皇了吗？”啖庭瑶回答说：“刚见过了。”
高力士不敢怠慢，跟着啖庭瑶来到宫门外，等了一会，一名宦官拿出一卷文书递给他。高力士一看，上面写的是应该免职的文字，不等他看完，文书就被要了回去。高力士心中早就有所预料，就求那个宦官传话给肃宗说：“臣早就罪该万死了，只因皇恩浩荡，才活到今天。不过文书上所列罪状，我实在不知道。臣只有一个心愿，就是能亲自向太上皇告别，然后受刑，死而无怨。”
肃宗在第二天，颁下诏书，严词斥责高力士：“私通逆党，暗助凶徒，怀无君无父之心，应处杀头之刑。姑念其长期在宫中侍奉，效有勤劳，且免死罪，削去官爵，流放巫州。”
俭朴忠厚的禁军老将陈玄礼与此同时被迫退休回家。原来在兴庆宫侍奉太上皇的宦官王承恩被流放播州（今贵州遵义），魏悦被流放溱州（今四川綦江），如仙嫒被流放归州（今湖北秭归），玉真公主被令重返道观。可怜垂暮老弱的李隆基身边，连一个相伴的旧臣也没有留下。随后，肃宗另派了百余名老弱宫女，担任太极宫的洒扫杂役；让两个妹妹（太上皇的女儿）万安公主和咸宜公主，负责照料饮食住行。
李隆基被迁居西内，实际上是被软禁起来。高力士等人被贬逐之后，李隆基的精神也垮了下来，他的心情抑郁，自然积成疾病。在太极宫住了一年又八个月后，李隆基于宝应元年（762）4月5日，病逝于神龙殿，享寿78岁。过了十三天后，4月18日，长期染病的肃宗皇帝也追随其父之后驾崩，享年52岁。两天之后，新皇帝代宗即位。
自上元元年（760）7月28日高力士被除名流放。从京城长安到巫州（今湖南黔阳境内），行程3100里，一路涉水渡河，爬山越岭。上元二年（761）10月。黔中道巫州。南国的秋色，草木苍郁葱茏，生机盎然。在州城外的一道山坡下，走着几位信步踏游之人。其中一位年迈的老者，步履沉缓，面含沉思。他就是太上皇（李隆基）李隆基在位时的宦官首领高力士。
走在前面的一个随从叫道：“高公，您看，对面像是来了几骑人马。”
高力士举目望去，确有几骑人马踏起尘土奔驰过来。说话间，来人已到跟前，为首一人大声喊道：“请问高公在此？”
来人原是去年2月贬官流放夷州（属黔中道，今贵州凤冈）的第五琦（字禹）。他两年前官居宰相，因为得罪了当朝皇帝（肃宗）的亲信宦官李辅国，被贬流到这荒凉边远之地的。
第五琦勒马下鞍，一边施礼，一边问安：“高公，这一年来身体可还康宁？”
高士力还礼答道：“垂垂老暮，一日不如一日啊。”
两人相见，同是天涯沦落客，不由得引起心中万千感慨，遂与从者来到城边酒店，且饮且聊，消解愁肠。几杯水酒下肚，高力士对同座众人说道：“小人当道，贤良受谗。以第五公宰相之高位，尚且不能幸免此难，其余官职低下者，就更不必说了。”
第五琦关切地探问道：“高公，近来有京城方面传来的消息吗？”
高力士长叹道：“这巫州之地，蛮荒僻远，交通阻塞，京城消息传递到此，少说也得两月时日。老朽日夜翘首盼望，度日如年！”
“烟熏眼落膜，瘴染面朱虞。老身已是来日苦短，看来真的是要客死于此了。”
第五琦说了许多宽解抚慰的话，观天色不早，这才与高力士相揖而别。
秋去冬来，冬尽春至。山野田间，滋长出一片片嫩绿色彩。一天，高力士偶尔在园中看到长有许多荠菜。当地居民，尚不知晓这野生植物可以食用。他让随从采来做成粥汤。许久不吃荠菜，其味格外新鲜，高力士乘兴赋诗一首：
两京秤斤卖，
五溪无人采。
夷夏虽有殊，
气味终不改。
诗中文字虽是吟咏荠菜，实则是他的心中慨叹。不论是在京城还是在巫州，他效忠大唐和太上皇（李隆基）李隆基的赤诚之心永不变。
年近八旬的高力士，身衰力弱，老态龙钟。以待罪之身，心怀忧愁，登山远望，临水闲步，消磨时日。远离京城，就远离权利争斗，早已是无职无权之人，何必再为国事忧劳。可高力士，身处静地心中却未安然。回首往事，高力士晚年贬流后处在悲惨苦难的生活之中。高力士身边从者不过10人，所带衣物粮食只够数月用度。历经两月之久，于9月30日才到达巫山。
高力士在巫州首尾三年时间中，忧惧度日，强打精神，期盼着赦令下达。早在官军收复长安之后，李辅国就已蒙蔽肃宗，专权胡为。凡是被李辅国一伙整治的人，先抄没其家财，不判死刑就被流放。五六年间，先后被流放到黔中道各州的人，上至郡王，下至州县官吏，多达两千余人。等到代宗即位后大赦放还的人，只剩下十分之二三了。古人有言道：一朝天子～朝臣。不信任并排斥前期旧官，是新老皇帝权力交替之际的一种普遍现象。高力士等人就是其中的牺牲者。在巫州期间，与其他被流放的人同病相怜，来往颇多。时过境迁，高力士将亲身经历过的事情，讲给大家。曾经在史馆供职的柳芳，将高力士所谈，编写成《问高力士》。太原人郭浞获赦后，在代宗朝任过大理寺直和户部员外郎，他将高力士叙述的旧事，撰成《高力士外传》一书，流传后世民间。
肃宗在宝应元年（762）3月28日，颁下一道诏令：所有贬官流放的一律放还。肃宗还在驾崩的前两天，又因改年号（宝应）再次大赦天下。到了6月，皇帝的诏令传到巫州，高力士，惊喜之后，立即起程北归。7月，当他行至朗州（今湖南常德市，距京城2000里）境内时，才得知二圣（李隆基、肃宗）已经相继驾崩。
在流放期间高力士一个重要精神支柱，是有朝一日赦归京城，与他一生忠心侍奉的太上皇李隆基相见。满怀希望和喜悦的高力士，得知李隆基仙逝而去，难以承受的迎头打击。他面向京城，号天哭地，几次哭得气绝昏倒在地。
高力士的唯一心愿，就是早日回归京城，在李隆基的灵前哭祭亡魂。高力士抱病赶路，日夜兼程。他的垂暮之身和哽咽感伤的精神，难以再支持下去了。高力士一行于8月18日宿于朗州开元寺西院，他感觉大限已到，便强打精神对同路的郭浞等人说道：“我今年79岁，已算是长寿了；显达时官至开府仪同三司，也算是贵极人臣了。既显贵又长寿，死去还有什么可遗憾的！唯一的抱憾就是不能亲临二圣灵前号哭祭拜。现在，我要成为这荒远僻地的野鬼游魂，孤独无依，不知要飘泊到何时……”高力士说着老泪长流，呼出了胸中最后一缕气息而病亡。
高力士病死的消息，由当地官府奏报到京城。高力士的灵柩于9月从朗州起运。11月，到达襄州（今湖北襄阳）时，代宗特下的诏书传至：念高力士是先朝的耆宿忠臣，今恢复其生前官职爵位，并追赠扬州大都督；灵柩运回京城，陪葬于李隆基陵墓；朝廷供给支付丧事等费用。
长达七年多的安史之乱终于平定之后。唐代宗在广德元年（763）3月，为他的爷爷李隆基举行了安葬仪式。李隆基的泰陵在同州奉先县东北20里的金粟山（今陕西蒲城境内），冷清的墓地旁，陪葬着毕生忠诚的“老奴”高力士。
代宗又在大历十二年（777）5月，又命为高力士镌立墓碑，全碑高约4米多，宽约1.4米，碑文共1600余字。碑上铭文最后写道：“惟公之葬，泰陵之下，存殁义同，忠贞无舍，书词刊世，永示来者。”