布阵于五霞原的高城势上下皆确信继续追随足利藤氏一方根本没有活路，就连继续追随高城胤吉、高城胤辰父子也是前途渺茫，该做什么样的选择，其实已经毫无悬念了。

高城胤吉、高城胤辰父子在获知自己的后院起火后，匆忙决定率军南下返回本领。但高城四郎右卫门（高城家庶流）、田岛时定、平河若狭守、铃木新右卫门等参阵的高城家重臣们却有着自己的想法，他们不约而同地选择以各种各样的借口来拖延进军。

这就使得高城胤吉、高城胤辰父子在下令班师南下命令后的一天一夜里，几乎没有行动一步。

再加上五霞原以南的冬木城、吉羽城、一色城等地早就被上杉军所夺取，新任幸手一色家家督一色义直更是在弃城而逃后不久遭遇了落武者狩，其首级更是以十贯永乐钱的价格卖给了上杉军。

高城胤辰见参阵的家中重臣们皆不愿南下与上杉军交锋，便发觉情形不对，就向其父高城胤吉进言：“如今是福是祸已经很难预测了，退不如进，应尽快号令全军转道梁田领而南下，先夺回小金城，或许还有一线生机。”

相比起家中重臣，高城胤吉自然是更相信自己儿子的话。何况事已至此，只能将死马当活马医，最后赌上一把。

于是，高城胤吉便接受了高城胤辰的建议，下令高城势转道梁田领后南下攻向小金城。

可是，不论是江户川还是幸手川，浮桥、桥梁早就被一色氏久、一色直房、一色信海等倒向上杉家一方的一色一族武将所破坏，邻近村落之中的大小船只更是被尽数收走，使得高城势无法在短时间内找到一条船只来渡河。

高城胤吉为了能尽快返回本领，便下令全军上下强渡江户川、幸手川。

结果，就是这道不近人情的命令，成为了压垮骆驼的最后一根稻草。

本就因后院失火而士气低落的高城势顿时不战自溃。在混乱之中，高城四郎右卫门、田岛时定、平河若狭守、铃木新右卫门等有意倒向上杉家一方的高城家重臣们趁机开始追杀平时愤怒之人，并意图迫使高城胤吉、高城胤辰父子率剩余高城势向上杉军投降。

在惊慌之中，高城胤吉、高城胤辰父子在躲避乱兵，好不容易逃到了关宿城外，身旁仅剩下两名马廻众了。

为了不被高城四郎右卫门、田岛时定、平河若狭守、铃木新右卫门等家中重臣胁迫，高城胤吉、高城胤辰父子便想着进入关宿城之中，获得足利藤氏的庇护。

然而，此时的足利藤氏已是惊弓之鸟，他在获知上杉军大举攻入葛饰郡、幸手一色家覆灭、高城胤正举小金城不战而降、高城势不战自溃等诸多噩耗后，根本不敢打开关宿城的大手门，并让家臣在城头上让高城胤吉、高城胤辰父子尽快离开，以免自己受到牵连。