做好了防备，劝说元颢说：“如今我们远道而来，尚未臣服的人还有很多，他们如果知道我们的虚实，联合兵力从四面围攻，我们将如何抵御！应当启奏梁武帝，请求派遣更多精兵，并下令各州郡，将流落此地的南方人全部送过来。”元颢本想听从，但元延明说：“陈庆之的兵力不过数千，已经难以控制；如今再增加他的兵力，他难道还会听从我们的指挥吗！大权一旦失去，一举一动都将由他人掌控，魏国的宗庙社稷，也就此倾覆了。”元颢于是没有采纳陈庆之的建议。又担心陈庆之暗中向梁朝启奏，便向梁武帝上表说：“如今黄河以南、以北地区已一举平定，唯有尔朱荣还敢飞扬跋扈，臣与陈庆之自行就能擒获讨伐他。各州郡刚刚归附，正需要安抚，不宜再增加兵力，以免惊扰百姓。”梁武帝于是下诏，命令各路后续进军的军队都停留在边境上。
洛阳城中的南方士兵不足一万人，而羌人、胡人的兵力却是他们的十倍。军副马佛念对陈庆之说：“将军威名传遍河洛地区，声震中原，功劳高、权势重，已经被元颢猜忌，一旦发生意外变故，难道能不担忧吗！不如趁他没有防备，杀掉元颢，占据洛阳，这是千载难逢的机会啊。”陈庆之没有听从。元颢起初任命陈庆之为徐州刺史，陈庆之于是坚决请求前往镇守，元颢心中忌惮他，不愿派遣，说：“主上把洛阳之地全权托付给你，如今突然听说你要舍弃朝廷的重任，前往彭城，会认为你急于谋取富贵，不为国家着想，这不仅会损害你的声誉，恐怕我也会受到牵连。”陈庆之不敢再提及此事。
尔朱荣与元颢在黄河两岸对峙。陈庆之驻守北中城，元颢亲自占据南岸；陈庆之三天之内与敌军交战十一次，杀伤大量敌军。有一位夏州的义士为元颢驻守黄河中的沙洲，暗中与尔朱荣勾结，请求破坏桥梁立功，尔朱荣率军赶赴接应。但桥梁被破坏后，尔朱荣的军队未能及时接应，元颢将沙洲上的义士全部屠杀，尔朱荣怅然失望。又因安丰王元延明沿着黄河坚守，而北魏军队没有船只可以渡河，尔朱荣商议准备返回北方，再作后续打算。黄门郎杨侃说：“大王从并州出发时，是早已知道夏州义士的密谋而来接应，还是为了广施谋略、匡复帝室呢？用兵之道，何尝不是分散后再聚合、伤口愈合后再作战；况且如今我们并未遭受损失，怎能因为一件事不顺就全盘放弃谋划呢！如今四方百姓都翘首以盼，注视着大王的举动；如果未能取得成效就仓促北归，将会使百姓失望，人人都产生离去或归附的念头，胜负的归属，就难以预料了。不如征调百姓的木材，多制作木筏，夹杂着船只，沿着黄河排列，数百里之内都摆出渡河的态势，首尾相距遥远，让元颢不知道该防备哪里，一旦渡过黄河，必定能立下大功。”高道穆说：“如今主上流亡在外，君主忧愁，臣子应当感到耻辱。大王率领百万大军，辅佐天子、号令诸侯，如果分兵制作木筏，在各处分散渡河，攻克洛阳易如反掌；为何要舍弃这个机会北归，让元颢得以重新集结兵力，在天下范围内征召军队！这就是所谓的‘养虺成蛇’，到时后悔也来不及了。”尔朱荣说：“杨黄门已经提出了这个计策，我们应当共同商议。”刘灵助对尔朱荣说：“不出十天，黄河以南必定能够平定。”伏波将军正平人杨剽与他的族人居住在马渚，自称有几艘小船，请求担任向导。戊辰日，尔朱荣命令车骑将军尔朱兆与大都督贺拔胜捆绑木材制作木筏，从马渚西边的硖石连夜渡河，袭击元颢的儿子领军将军元冠受，将其擒获；安丰王元延明的部众得知此事后，全线溃败。元颢失去了依据，率领麾下数百名骑兵向南逃走，陈庆之收拢数千步兵和骑兵，结成阵势向东返回，元颢之前攻占的各个城池，一时间又都投降了北魏。尔朱荣亲自追击陈庆之，恰逢嵩高山一带河水暴涨，陈庆之的士兵几乎全部战死或溃散，陈庆之于是剪掉头发、胡须，装扮成和尚，从小路逃出汝阴，返回建康。朝廷仍然因为他的功劳，任命他为右卫将军，封为永兴县侯。
中军大都督兼领军大将军杨津进入宫中住宿，清扫宫廷，封闭府库，前往北邙山迎接北魏孝庄帝，流泪请罪，孝庄帝安抚慰问了他。庚午日，孝庄帝入住华林园，宣布大赦天下。任命尔朱兆为车骑大将军、仪同三司，对北来的军士以及跟随孝庄帝、文武百官中树立忠义之功的人加官五级，对河北地区前来报告消息的官员以及河南地区树立忠义之功的人加官二级。壬申日，加授大丞相尔朱荣为天柱大将军，增加封邑，加上之前的共计二十万户。
北海王元颢从轘辕关向南逃到临颍，随从骑兵四散奔逃，临颍县吏江丰将他斩杀；癸酉日，元颢的首级被传送到洛阳。临淮王元彧再次主动归附孝庄帝，安丰王元延明带着妻子儿女前来投奔梁朝。
陈庆之进入洛阳时，萧赞曾送上奏启，请求返回梁朝。当时吴淑媛还在世，梁武帝派人把萧赞幼时的衣物寄给他，信件还未送到，陈庆之就已兵败。陈庆之从北魏返回后，特别敬重北方人，朱异感到奇怪，询问原因，陈庆之说：“我起初以为长江以北都是戎狄聚居之地，等到了洛阳，才知道礼仪教化、贤才俊杰都在中原，不是江东所能比得上的，怎能轻视他们呢？”
甲戌