由于高遵裕不听刘昌祚的建议，不派兵据守鸣沙，结果，当护运粮草的鲁福、彭孙等行至鸣沙时，被埋伏在牛首山上的夏兵截住。鲁、彭经过三战，终因寡不敌众，被夏军杀得大败，粮草也被夏军抢走了。围困灵州城的宋军，因得不到粮草救济，饥饿难耐。加上时令已进冬日，寒冷难当，宋军意志已散，大多数人都有思乡罢战回归之意。
刘昌祚军因西征以来，一直打前锋，缴获西夏粮草兵马甚多，所以，军士倘有饭吃。高遵裕即令泾原兵将所得粮草、兵马全交给他所领导的环庆兵，这就引起泾原兵的极大不满和愤慨。灵州城外，桑果榆柳，成片成林。但是环庆兵为了取暖做饭，把这些树木几乎全部砍光了，激起了百姓的忿恨。
高遵裕、刘昌祚围困灵州城十八天，却仍旧不能破城，早已粮饷不继。又遇到天降大雪，兵卒饥寒交迫，斗志渐渐衰颓，可谓进退维艰。西夏粱太后见时机已到，便下令决开黄河七级灌渠，水淹高遵裕的围城大军。
那天，夜黑风高，宋军正在做梦。突然洪水冲进军营，宋军死残不计其数。高遵裕被军士的喊叫声惊醒，吓得在帐中哆嗦，忽然一人挑开帐子冲了进来，说道：“高将
军请快上马！”便被那人抱上了马背。原来，这人正是姚麟。就在高遵裕急着逃命的时候，刘昌祚骑马立于水中，沉着指挥泾兵撤退。
刘昌祚部下因驻扎在灵州城下，这儿地势较高，七级渠水冲不上来，因而没有受水淹之苦，但是军心已被洪水动摇。这时，守城的夏军又冲了出来，使泾兵处于腹背受敌的危险境地。刘昌祚便命令部将郭成率军涉水，尾随环庆兵向牛首山撤退。
他独自一人驱马跃入水中一块高地上，弯弓搭箭，从容不迫地射杀尾追的夏兵。刘昌祚的箭法极佳，名震西夏。因为他射箭从无虚发，西夏认为他是“箭神”，往往把他射出的箭捡回去，当作“神”供奉起来。数千夏兵被他一人阻挡在洪水的边缘，不敢前进。看着泾兵已退得差不多了，刘昌祚才大叫一声，扬鞭驱马，追上前军，上牛首山去了！可怜宋兵十余万，冻溺而死者，不计其数，夺路逃生者仅有一万三干多人。
这次大规模的伐夏之战，除李宪所部之外，其他各路大军都被困于灵州附近。因为粮草断绝，先后惨遭溃败，宋朝共计损失了近四十万人。
五路大军的战报传至朝廷，赵顼大叹息道：“孙固之前曾经劝谏朕，朕以为是迂腐之言，现在已是追悔无及了。”元丰五年正月，他下旨把高遵裕降为郢州团练副使、本州安置。种谔、王中正、刘昌祚，也分别受到降职处分。李宪没有能率部及时赶到灵州相援，董毡所部也严重失期，两人均出师无功。
李宪深知此次军事失利非同小可，便急忙上疏赵顼，一方面强调自己开发兰州、会州有功，另一方面以中途受阻、无法如期赶赴兴、灵二州为借口，把罪责尽量往其他将领身上推卸，企图以此邀功弭责。知枢密院、宰相孙固认为李宪没有如期会师，按律当处斩刑。
然而在对李宪的处理上，赵顼与朝臣发生了严重分歧。孙固上奏道：“兵法失期者当斩，何况各路大军都到了灵州，唯独李宪没有赶到，这岂是可以赦免之罪吗？”赵顼却以李宪有功，不忍心加罪，只是怎问他何故擅还？李宪称道：“因为馈饷不继，只好退回军。等日后准备好兵食，再图大举。”
赵顼为李宪所惑，竟然授李宪为泾原经略安抚制置使，兼知兰州，李浩为副。吕公著再上书谏阻，赵顼不听。吕公著于是称病求去，赵顼任命他为定州知州。当时官制已一律订定，改同中书门下平章事为左右仆射，参知政事改为门下中书侍郎尚书左右丞。赵顼即命王珪为尚书左仆射，蔡确为尚书右仆射，章惇为门下侍郎，张璪为中书侍郎，蒲宗孟为尚书左丞，王安礼为尚书右丞。
为了纳忠效信，灵州兵败三月之后，李宪又上书给赵顼，请求再次伐夏，期望将功补过。赵顼犹豫不决，于是询问宰相王珪。李宪此举，正中王珪下怀，他当即表示可以。
