王襄会意，将信使发回，当时赵由出兵十余日至雷州西，听闻王襄不出，不禁大怒，左右曰：“总管是从君主之言固守城池，元帅无话可答，不如返回。”由曰：“此时退军，白禄岂不追出城来？兵败不耻，只非人笑。”言毕不听左右之言，也在雷州外辱骂，辛义就要出战，白禄不许，依照前计，乃张晔所谋曰：“若能诱使赵由兵临雷州，白日定来辱骂，可趁其夜晚疲惫，令右将军袭其营寨，赵由必退，待他远去再令辛仁进兵。”当时辛仁屯兵寿国，赵由果然大骂，白禄就令辛仁去了，赵由挑战十余日不见敌军出战，城门楼上悬挂免战牌，赵由愤愤，气急败坏要攻城，左右曰：“雷州城固，易守难攻，总管又未至，若元帅攻城不能得胜，回山何言以对君主？”