只求母子平安，哪怕与你一起扫地为生也好。”等到元详再次执政，太妃便不再提及往事，反而全力协助元详作恶。冠军将军茹皓，凭借精巧的构思受到宣武帝宠爱，常常在皇帝身边，传达门下省的奏事，弄权纳贿，朝野上下都畏惧他，元详也依附于他。茹皓娶了尚书令高肇的堂妹，茹皓妻子的姐姐是元详叔父安定王元燮的妃子；元详与元燮的妃子私通，因此与茹皓更加亲密。直阁将军刘胄，本是元详引荐之人，殿中将军常季贤擅长养马，陈扫静负责皇帝的梳洗，三人都得到宣武帝的宠幸，与茹皓相互勾结，权势熏天。
高肇原本出身高丽，当时声望不高。宣武帝罢黜六位辅政大臣、诛杀咸阳王元禧后，将政事全权委托给高肇。高肇因朝中亲族极少，便拉拢朋党，依附他的人旬月之间就能得到越级提拔，不依附的人则被罗织罪名陷害。他尤其忌恨诸王，因元详职位在他之上，想要除掉元详以独揽朝政，于是向宣武帝诬告：“元详与茹皓、刘胄、常季贤、陈扫静密谋叛乱。”夏季四月，宣武帝夜间召中尉崔亮入宫，命他弹劾元详贪婪淫逸、骄奢放纵，以及茹皓等四人仗势贪横的罪行，将茹皓等人关押在南台，派遣一百名虎贲卫士包围元详的府第。又担心元详惊慌逃逸，派身边侍从郭翼打开金墉门疾驰而出宣读圣旨，出示中尉的弹劾状，元详说：“果真如中尉所弹劾的那样，我有什么可担忧的！只恐怕还有更大的罪名强加于我。别人送我的东西，我确实接受了。”次日清晨，有关部门上奏处置茹皓等人的罪名，四人全部被赐死。
宣武帝召高阳王元雍等五位藩王入宫商议元详的罪行。元详独自一人被防卫士兵押送前往华林园，母亲和妻子随行，只允许携带几名弱小的奴婢，防卫极为严密，内外隔绝。五月丁未朔日，下诏赦免元详的死罪，将他废为平民。不久，将元详迁移到太府寺，监禁更加严格，母亲和妻子都返回南宅，每五天才能探望一次。
起初，元详娶了宋王刘昶的女儿，但对她十分冷淡。元详被监禁后，高太妃才得知他与安定王高妃的私情，大怒道：“你已有如此多的妻妾，为何还要宠幸那个高丽婢女，招致这样的祸患！”下令鞭打元详一百多下，元详伤口溃烂，十多天后才能站立。又鞭打刘妃几十下，骂道：“女人都善妒，你为何偏偏不妒！”刘妃笑着承受责罚，始终一言不发。
元详的几名家奴暗中勾结党羽，想要劫持元详出逃，秘密写下名单，托付侍婢传递给元详。元详刚拿到名单，守门的主管远远望见，突然闯入从他手中夺走名单并上奏朝廷，元详痛哭几声后，突然去世。朝廷下诏有关部门按礼仪安葬他。
此前，典事史元显献上一只四翼四足的雏鸡，宣武帝下诏询问侍中崔光。崔光上奏说：“汉元帝初元年间，丞相府史家的母鸡孵蛋，逐渐变成公鸡，长出鸡冠和距，能够啼鸣。永光年间，有人献上长角的公鸡，刘向认为‘鸡是小家禽，负责掌管时辰、提醒起居，是小臣执政的象征。竟宁元年，石显伏法，便是这一征兆的应验。’汉灵帝光和元年，南宫寺的母鸡想要变成公鸡，只是鸡冠未变，灵帝下诏询问议郎蔡邕，蔡邕回答说：‘头是元首，象征君主。如今鸡的全身都已变化，只是头部未变，而君主已知晓此事，这是将有大事发生却未能成功的征兆。如果应对不当，朝政不加以改革，鸡冠一旦长成，祸患将更加严重。’此后黄巾起义席卷四方，天下大乱。如今这只鸡的形状虽与汉代不同，但征兆颇为相似，实在令人畏惧。臣依照刘向、蔡邕的言论推究，鸡的翼足众多，也是群臣相互煽动勾结的象征；雏鸡尚未长大，足羽较小，说明其势力尚弱，容易控制。臣听说灾异的出现，都是为了昭示吉凶。明君见到后心生畏惧，就能招致福运；昏君见到后不以为然，就会招致灾祸。或许如今也有出身低微却显贵、干预政事，如同前代石显那样的人吧！希望陛下提拔贤才、罢黜奸佞，那么妖异就会消除，吉庆就会到来。”几天后，茹皓等人被处死，宣武帝更加敬重崔光了。
高肇劝说宣武帝，让宿卫队主帅羽林虎贲看守各位藩王的府第，几乎等同于幽禁。彭城王元勰极力劝谏，宣武帝不听。元勰志向高远，不贪图荣华权势，避居家中不问政事，但外出无法游览山水，居家没有知己相伴，只能独自面对妻子儿女，常常郁郁寡欢。
北魏军队围攻义阳，城中兵力不足五千人，粮食仅够支撑半年。北魏军队日夜不停地攻城，刺史蔡道恭随机应变顽强抵抗，每次都能击退敌军，双方相持一百多天，梁朝军队前后斩杀俘获的北魏士兵不计其数。北魏军队心生畏惧，准备撤退。恰逢蔡道恭病重，于是召集堂弟骁骑将军蔡灵恩、侄子尚书郎蔡僧勰以及各位将领辅佐，说：“我蒙受国家厚恩，却不能铲除贼寇，如今病情加重，势必难以长久支撑；你们应当以死坚守气节，不要让我死后留有遗憾！”众人都流下眼泪。蔡道恭去世后，蔡灵恩代理州府事务，接替他守城。
就在这时，北魏遭遇大旱，散骑常侍兼尚书邢峦上奏说：“古代圣明的君主重视粮食布帛，轻视金玉珠宝。为何？因为粮食布帛能养育百姓、安定国家，而金玉珠宝毫无用处，还会败坏德行。先帝深刻洞察奢侈浪费