火趁风威，风助火势，最早点火的林香山里的山火蔓延得也最快。天文五年（1536）9月28日未时二刻，北条氏康就不得不率领部队退下了林香山，直接走山路退到了由比川上游的西北岸，然而今川军的主力部队——朝比奈备和五个旗本备队此刻都还在由比川的东南岸。
同样在由比川西北岸，濑名备和关口备剩下的700多人要同时面对白备、青备、北条家旗本一共4300余人的夹击，这几乎是不可能完成的任务。今川义元也没有别的选择，一边把入林放火的旗本第四备调回本阵，一边授意朝比奈备、旗本第一备、第二备和第三备剩下的一共3500余人，从东北至西南全方位强渡由比川，试图牵制住北条家剩下的2400多旗本，为被困的濑名备和关口备分担压力。
然而北条氏康早就预料到了今川义元的行动，马印一挥，北条家旗本就迎向了各个桥梁和浅滩，势要半渡而击，把今川军给全部堵在由比川对岸。
“不行啊，打不过去！”
今川军冲锋数次，仍然难有建树。由比川上游的桥梁数目非常有限，早就被北条家的步兵和弓箭手堵得死死的。想要突破，唯有从浅滩涉水而过。但由比川的水流本就湍急，再加上北条家在对岸严阵以待——今川军每次涉水渡河后都没有机会结阵，就被迫在刀枪和乱箭里败下阵来。北条军到底也是关东强军，战力一点不比今川家的旗本低。
“我亲自带头来一次！”刚从前线退下来包扎的旗本第二备备队长山田景隆眼看战局不顺，也是发了狠，提着刀、拎起一面圆盾，又奔着一处浅滩而去。他召集了几个骑马武士，选择了水位稍微较深、对面防备不是很严密的地方，策马就往里冲。河水一下子漫过了马的腹部，马匹的行进也一下子举步维艰。
几个骑马武士的出现立刻吸引了北条家守军的注意，在山田景隆冲到一半的时候，乱箭就向他这里飞来。他举着圆盾上遮下挡，但还是不可避免地在大腿上中了两箭。坐下马则更惨，被数箭射中，哀嚎着就往水里倒下。但山田景隆也趁着这个时候猛地向前一跃，几乎跳到了岸边，随后大吼着一个跨步，就跃到了滩涂地的碎石上。
两个北条家的旗本足轻挺枪迎上，山田景隆也不躲不让，举着圆盾撞了上去，将全身的力气寄托于圆盾上。碰撞的刹那，那两把长枪的竹制枪杆就应声碎裂。两个足轻猝不及防，被山田景隆转身一个横扫击杀。
身后的武士抓住了山田景隆闯出的空档，也是快步跳上岸