之后，便调集部队前往前往瓦岗山围剿。因山势险峻，李孝贞屡次进攻瓦岗山，皆是损兵折将，不能成功。因此李孝贞便下令断绝通往瓦岗山的各处道路，坚壁清野，以打击翟让所部。
这时徐世勣便劝说翟让道：“东郡对于您和我都是乡里，那里的人我们大都认识，实不宜去侵犯他们；荥阳郡、梁郡，是汴水流经的地方，畅通南北，我们可以在此打劫过往的行船商人旅客，足以自给。”
翟让大喜，便率众从瓦岗山突围，直趋荥阳郡、梁郡的境界，靠着运河，打劫往来的公私船只，因此供给充裕，来归附的人越来越多。徒众达一万余人，所部多为渔猎手，善使长枪。
至此，瓦岗军的势力急剧扩大，开始在中原地区攻略城池，成为中原之地一支重要的农民军。