这时候，宋国豫州刺史南平王刘烁镇守寿阳，派遣左军行参军陈宪代理汝州南郡政务防守悬瓠。城中能够战斗的士兵不足一千人，于是魏王率军包围了悬瓠城。悬瓠城地处南北境要冲，集豫州治、汝南郡、上蔡县于一体。郦道元《水经注》说：〝河自东西下，屈曲而流，抱城三面，形若垂瓠，故称悬瓠城。〞

东晋时把汝南郡治所从息县移到悬瓠城，首要任务就是加强城市的防护。公元420年，悬瓠城周长有12公里，只有东、西、南三个门，没有北门。东门叫迎春，西门叫见山，南门叫阜安。元嘉二十六年三月，魏军围困悬瓠城，汝南太守陈宪率领近千名士兵，苦战四十二天，人死过半也不屈服。而魏军死伤无数，汝南为之断流，也没能破城，只得引兵而退。

时过境迁，从公元420年，先南后西再东，通过肩挑、手搬、独轮车推的原始方法，取城内外之土，搬城东北二十里外的古城墙砖，前前后后一百多年时间，才完成城墙的分段加宽、加高、加砖、加固，构成了一个完整的建筑体系。

悬瓠城除城门楼是砖石结构外，四周城墙都是砖石砌就，再内侧填土。古城墙主要有城墙、护城河、城门、瓮城、魁星楼等构成。城墙高大厚实，有角楼和警铺。外墙砖石结构，内有黄土夯成。高两丈有余，宽丈余，其上可行车骑马。城门处都建有门楼，又称东西南北四关，每道关有两道城门，向内呈半月形，构成瓮城。远远望去，高大威武，固若金汤。又凭借独特的地理优势，躲战乱，避水灾，声名遐迩。

魏军不分昼夜攻打悬瓠城，制作许多的高楼，接近城墙向城内射箭。箭下如雨，城户顶住门板去打仗。又在冲车前端安上大钩子来拉城上的女墙，因此破坏了南面的城墙。

陈宪又在城内加设女墙，在墙外立起木栅栏来抵抗进攻。魏军就填平壕沟，进行肉搏战登上城墙。陈宪就督促激励将士苦战，一时堆起的尸体与城墙一样高，于是魏军踩着尸体登上了城墙。双方展开激烈的肉搏战，陈宪的锐气更加激奋，战士无不以一当百，杀伤魏军数以万计，城内战死的人数也超过了一半。

拓跋焘又派永昌王拓跋仁率步骑兵一万多人，驱赶掳掠的六个郡的百姓，向北屯驻在汝阳。当时宋国徐州刺史武陵王刘骏镇守彭城，刘义隆密派使者命刘骏出动骑兵，带三天的粮食去偷袭汝阳的魏军。

刘骏征发百里之内的马匹，得到一千五百匹，分为五支部队，派参军刘泰之率领北安将军属下的骑兵行参军垣谦之、田曹行参军藏肇之、集曹行参军尹定、武陵王常侍杜幼文、殿中将军程天祚等人，率领五支部队直奔汝阳。

魏军害怕宋国救兵从寿阳方向赶来，而没有防备彭城方面。于是刘泰之等人潜伏进军，攻击汝阳的魏军，一时杀死三千多人，烧毁了他们的辎重。魏军失散，因此被掠的民众全部得以向东逃走。

魏军侦察获知刘泰之等部众没有后继援军，又带兵回来攻击刘泰之等部，垣谦之先后退，因此宋军士卒惊慌，也抛弃兵器逃走。刘泰之被魏军杀死，藏肇之淹死在河里，程天祚被魏军擒获，垣谦之、尹定、杜幼文及其士兵幸免者九百多人，马匹返回的只有四百匹。

拓跋焘攻打悬瓠城一个多月，刘义隆派南平郡的内史藏质前往寿阳，与安蛮司马刘康祖共同率兵救援悬瓠城，刘康祖是刘道锡的堂兄。然后拓跋焘又派殿中尚书任城公乞地真带兵迎击这支援军，却被藏质等攻击斩杀了乞地真。

回来后，刘义隆把安北将军武陵王刘骏降至为镇军将军。垣谦之伏罪被杀，尹定、杜幼文都押付尚方官署罚做苦工，任命陈宪为龙骧将军、汝南新蔡二郡太守。

拓跋焘带兵返回，送信给刘义隆说：〝在此之前盖吴叛乱，煽动关中、陇西的民众造反，你派人到盖吴处招诱他，男子送给弓箭，妇女送给首饰。这些人正想说假话骗取你的财物，怎么有离得这么远还肯服从你的道理？你作为大丈夫，为什么不自己来夺取关、long地区，却用财物引诱我的边民呢？你招募投奔的人免除七年的赋役，这是在奖励奸人。我现在到你这片土地上，获得多少财物，与你前后获得的相比，谁获得的更多？你如果想保存刘家的祖庙祭祀，应当把长江以北的土地割让给我，防守南渡长江之敌，那么我当放下江南不管而让你居住。不然的话，可好好命令你手下的各方镇守大将、州府刺史、郡县的太守县令，都准备好饮食住宿器具，到秋天我当前往夺取扬州。大势已到，我终究不会放过机会。你从前北面与蠕蠕沟通，西面勾结郝连氏、沮渠氏、吐谷浑，东面串连北燕的冯弘、高丽国。凡这几国，我都消灭了他们。这样看来，你怎么能单独活在这个世上呢！蠕蠕的吴提、吐贺真都已死亡，我现在北伐，先消灭有腿的敌寇。你如果不服从我的命令，秋天就会去收拾你。因为你没有脚，所以不先讨伐你罢了。待我前往之日，不知你该作如何打算呢？是挖沟自守，还是筑墙自我保护？我当公开前去攻取扬州，不像你暗中行动偷偷摸摸。你派来的侦探，我已活捉他们，又放回他们了。这些人都亲眼看到了现实，你好好问问他们吧！你以前派裴方明夺取仇池郡获得了胜利，你却嫉妒他的勇敢和功勋，自己不能容下他。你有这样能干的大臣还要杀了他，这怎么能跟我相比呢！你不是我的对手。你常想和我决一死战，我也不傻，又不是苻坚，什么时候会与你决战。我白天就派骑兵围绕你的城池，夜晚就远离你百里之外过夜，南方人正有夜袭摸营的习惯。你招募人马而来，不过行五十里，天就亮了，你所招募的人，脑袋就要被我砍下了。你老父时代的旧臣虽然年老，但还有智谋，我知道你已把他们杀光了，这岂不是上天助我吗？何况取你的脑袋也不用我的武器，这里有善于咒人的婆罗门，当派鬼把你绑来。〞

当刘义隆看了这封长信心里很生气，决定准备进攻魏国。丹扬尹徐湛之、吏部尚书江湛、彭城太守王玄谟等人都赞成。左军将军刘康祖认为：岁月已晚，请等明年。刘义隆说：〝北方在敌寇的虐政下遭受苦难，义军多处兴起。停兵一年会挫伤了他们的向义之心，这样不行。〞

太子步兵校尉沈庆之劝阻说：〝我方为步兵，敌人为骑兵，在势头上已经不成对手。当年檀道济两次出军而无战功，到彦之也是失利而回。仅凭目前的将领王玄谟等，未超过檀、到两将。六军的强盛，也不超过往年。恐怕这次出兵会又一次使王师受辱。〞

刘义隆说：〝王师两次受辱，那是有原因的。一是檀道济使敌寇修养获得补充，一是到彦之中途发病。敌虏所仗恃的只有马匹，现在是夏天雨水多，河道畅通，泛舟北下，碻磝敌军必定逃走。滑台守军小小一个据点容易攻破。攻下这二城，储存粮食，慰问百姓，虎牢、洛阳自然就会不再巩固。等到冬初，中原地区城池防守连成一片，再虏马渡过黄河，就会被我军擒获。〞

沈庆之坚持表示不可出兵，刘义隆叫江湛、徐湛之责难沈庆之，沈庆之说：〝治国好比治家，耕种的事当问农奴，纺织的事当问婢女。陛下现在想攻打敌国，却和白面书生之流商量，事情怎么能够成功！

太子刘劭及护军将军萧思话亦劝告，刘义隆都没有听从。魏王拓跋焘听说宋王刘义隆将要北伐，于是又给刘义隆一封信说：〝彼此和好长久的日子，而你的心没有个底，竟然引诱我国边民。今年春天我巡视南方，聊且看望我的百姓一去他们就返回我国。现在听说你想亲自前来，假设你能到达中山和桑乾河，可让你随意行走。你来我也不管，回去也不送。如果讨厌你的领土，可来平城居住。我也前往扬州，相互交换地方。你年有五十岁，未曾出过门，虽然靠自己力量前来，还像三岁婴儿，与我鲜卑生长在马上的人相比，果真又怎么样呢？更无别的东西可以送你，现送给你猎马十二匹以及毛毯、药材等物。你来此处道路遥远马力不足，可乘坐我送的猎马。或者你来了不服水土，药物可自己用来治病。〞

刘义隆于是下诏说：〝敌虏虽受到挫折，但兽心未改。最近得到黄河朔方、秦州、雍州等地华人及戎人的上书，陈诉困苦，渴望安定和拯救，暗中互相勾结以等待王师。柔然也派密使远远而来陈述诚意，发誓与我构成犄角之势，收复失地的机会，实在今日。可派宁朔将军王玄谟率太子步兵校尉沈庆之、镇军谘议参军申坦的水军进入黄河，接受青、冀二州刺史萧斌督管。派遣太子右卫率藏质、骁骑将军王方回直接前往许昌、洛阳地区。派徐、兖二州刺史武陵王刘骏、豫州刺史南平王刘烁各带其部东西并举。命梁、南、北秦三州刺史刘秀之震荡汧、陇地区。命太守、江夏王刘义恭出军住在彭城，做各军指挥。〞

当时军队大规模征发，从王公、嫔妃公主及朝廷士大夫、地方官员、下到百姓，各献金钱、布帛、杂物以帮助国家的费用。又因兵力不足，全部征发青、冀、徐、豫、兖、南兖六州的兵丁，按三丁抽一，五丁抽二的比例，也可雇人替代应征，军令到达之后十天之内整理行装。沿江五个郡的应征兵丁集中到广陵，沿淮三个郡的应征兵丁到盱眙集中。

又招募京都内外有马上徒步等各种技艺或武力之士来应募入伍者，都厚加赏赐。有关部门又奏请：〝军用物资不足，扬、南徐、兖、江四州富民家产五十万的，佛教僧侣尼姑财产满二十万的，都由国家借其资产的四分之一，等战事结束后马上偿还。〞