李世民和无忧回到晋阳城立刻去见了李渊，告知李渊计划成功，执失思力不日就退兵，李渊十分高兴，盛赞李世民和夜无忧。第二日，斥候来报，执失思力率军退去，李渊让斥候继续打探，确认突厥退兵之后，集中精力准备起兵事宜。

六月初五，一切准备就绪的李渊集结士兵，在晋阳设大将军府，自领大将军。李建成为陇西公、左领军大都督，统帅左军。李世民为敦煌公、右领军大都督，统帅右军。李元吉为姑臧公，统帅中军。裴寂为大将军府长史，刘文静为司马，殷开山，刘政会等人为大将军府属官。长孙顺德、王长谐、刘宏基、窦琮为左右统军副统军。随后将高君雅斩首祭旗，下令开仓放粮，招募天下豪杰。

七月初四，李渊下令李元吉为镇北将军，太原郡守，留守太原。

七月初五，李渊自领中军，李建成、李世民率左右军挥师南下，剑指关中。

大军不日抵达霍邑境内，探马来报，隋将宋老生率两万精锐于一日前入驻霍邑城。李渊将众人聚集在中军帐中商议破敌之策，商量了半天，众人也没商议出什么结果，李渊散去众人，准备先围城断静观其变。

李渊这边的起义军刚围城，结果老天爷就下起了大雨，一下就是近半个多月，道路泥泞难行，起义军所剩粮草依然不多，再僵持下去局面对义军非常不利。裴寂建议李渊先撤兵回太原，之后再徐徐图之。

这日李世民从李渊帐中忧心忡忡的回到自己的军帐，夜无忧见状便询问道：

“大哥，发生了什么事情，怎么一副愁眉苦脸的样子。”

“唉，连日大雨，不利攻城，军中所剩粮草不多，长史裴寂建议父亲回师太原徐徐图之。”李世民闷闷不乐。

“大哥，不可，我们义军绝无回头之路，如不快速拿下霍邑占据关中，失去先机，后患无穷。退回太原更是坐以待毙。”夜无忧急忙劝道。

“我也知道，奈何父亲已经动摇。”李世民无奈的摊摊手。

“大哥，你可再去劝说大将军，等雨稍小，大将军可率中军到霍邑城下挑衅，激怒宋老生诱其出战。左都督与大哥可兵分两路，夹击宋老生，再派一支骑兵突袭宋老生后军，宋老生必败！”夜无忧对着李世民说出了自己的计策。

李世民听从夜无忧的计策，随后又来到李渊帐中劝说李渊要一鼓作气，说出了利害关系，并将夜无忧的计策全盘托出。李渊听后觉得可行，内心又偏向了李世民的建议。

又过了两日，大雨停歇，李渊重整旗鼓，亲率中军到霍邑城下挑战。

“宋老生，如今你已被团团包围，不与我等一战，为何做了缩头乌龟？听说你是一员骁将，为何如今连城门都不敢出？胆小如鼠，今日见你，与女人无意。宋老生，如果你大喊三声，自己是娘们，我今日立刻退军！”说完，李渊用马鞭对着宋老生点了三下，随后调头缓缓回到军阵。

“李渊老儿，你欺我太甚！如此辱我，我与你誓不两立！”宋老生听到城下李渊的辱骂，顿时七窍生烟，下令开门，率军出城要与李渊一战。

李渊见宋老生出城，得知计划已成，立刻下令进军，攻击宋老生，埋伏在两旁的李建成与李世民看见宋老生出了城，也是命令手下士卒严阵以待，准备随时突袭宋老生。

计划是美好的，情况也确实按照夜无忧的计划发展，但万万没料到，宋老生手下的两万士卒，是隋军的精锐，李渊的中军一接触就陷入了劣势，李渊见势不妙，立刻让旗手发令，让李建成率左军支援。李建成只好提前发动突袭，率左路军朝着宋老生的右翼突袭。