619弄闰二月十九日,隋王朝东都政府太尉王世充,攻击唐王朝谷州(河南省新安县)。王世充命秦叔宝当龙骧大将军,程知节当将军,待他们特别优厚。然而二人对王世充的诈伪,却十分厌恶。程知节对秦叔宝说:“王公(王世充)气量狭窄,见识肤浅,而又信口胡扯,动不动就发誓诅咒,不过一个老巫婆而已,岂是铲除祸乱、恢复正义的英明领袖!”
王世充与唐军在九曲(河南省宜阳县北)会战,秦叔宝、程知节分别率军列阵,二人率领亲信骑兵卫士,共数十人,突然间离开阵地,向西狂奔一百余步,下马,回头向王世充叩拜说:“我们受你的特殊礼遇,一直思量为你效力,作为回报。可是你性情猜忌,喜爱听信鲨鱼群挑拨离间的谗言,不是我们托身的地方,如今不能再侍奉你,请准许我们从此告辞。”说罢,翻身上马,飞奔唐军阵地投降,王世充不敢追击。李渊把秦叔宝、程知节配给秦王李世民。李世民早就知道二人的威名,对二人至为优待,命秦叔宝当骑兵总司令,程知节当左翼第三亲军指挥官。
当时,王世充所属猛将中,又有征兵府司令武安人李君羡、征南将军临邑(山东省济南市济阳区西)人田留安,厌恶王世充的为人,也率领部众,归降唐政府。李世民把李君羡安置在自己左右,命田留安当右翼第四亲军指挥官(右四统军)。