但是即便如此，杨林依然感到自己肩上的责任，不容许自己有半点的懈怠。长兄文帝杨坚，临终前对自己的托孤重托，嫂嫂独孤伽罗对自己的殷切希望，让杨林一直言犹在耳，他要鞠躬尽瘁死而后已，让大隋朝一直兴盛下去，只有这样，他才有颜面在九泉之下，去见自己的兄嫂。
如今的大隋朝，虽然汉王之乱已经平息，四海安宁，百废待兴，杨广新帝登基之后，逐渐平稳过渡完毕，政局稳定，一片祥和。但是杨林心里却有一丝隐隐的担忧，总感觉这一切是暴风雨来临之前的平静。
其实杨林的担心并非杞人忧天，事情总是有根由的。杨林总感觉杨广施政，虽然雷厉风行，极为果断，却有些急功近利，操之过急。大业元年，就兴建洛阳东都，而且一年的时间就修建完成，每月征调民夫多达二三百万，如此繁重的劳役，百姓不堪重负。
接下来就开凿运河，更是有过之而无不及，河南、山东等地的百姓陷入水深火热之中。虽然这两大工程，都是利国利民，功在当代，利在千秋的宏图伟业，但是万一引起百姓不满，爆发民变，外部势力趁势发难，后果将是不堪设想。
杨林也曾进宫在皇上面前，提醒过皇上，但是杨广表面上满口答应，事后却依然是我行我素，不见任何成效。接下来的事情，更是让杨林感到忧心忡忡。
运河修到江都扬州的时候，皇上邀请自己和他巡游天下。虽然并肩王杨林称病请辞，皇上却说，“王叔乃是并肩王，是和朕一起君临天下的擎天柱国之重臣，王叔不陪侄儿同行，如何彰显我大隋的浩浩天威？朕知道王叔担心之处，王叔放心，朕巡游天下之后，一定励精图治，让大隋兴盛发达，绝不敢有丝毫懈怠。”
杨林见皇上言辞恳切，自己虽然是一字并肩王，又是皇上的王叔，但毕竟是臣，还是要顾及皇上的颜面，便只好答应下来。
巡游天下的一路沿途之上，并肩王杨林悄悄嘱托长孙晟，派人一路上沿途微服私访，探查当地官员，尤其是地方百姓的实际情况，结果让杨林大吃一惊。他万万没想到，短短两三年的时间，各地百姓的生活惨状，如此的惨不忍睹，并且杨林打算返回京师之后，一定向皇上奏明实情。
终于回到东都洛阳，杨林正在找寻机会向皇上上奏，还没等到合适的机会，皇上却下诏让自己前往西都长安，并调集人手，修筑长城。
杨林实在按捺不住，进宫求见皇上。杨广召见了并肩王。杨林说道，“皇上，如今几年来，为了修建东都，开凿运河，征调了太多的民夫，百姓劳役过重，已经难堪重负，而且耽误了农时，致使大片良田荒芜，各地的百姓，已经流离失所，食不果腹。再这样下去，后果极为严重，如今再次征调百姓修筑长城，恐怕难以为继，还请皇上三思啊。”
皇上却说道，“是啊，王叔所担心的，朕如何不知？但是营建东都洛阳，使我大隋江山更加稳固，不再让戎狄肆意侵扰，就危及我大隋根基，到时候王叔您坐镇长安，朕在洛阳，咱们叔侄二人共掌天下，岂不是我大隋无忧矣？再说这开凿运河，更有益于漕运，也使各地水利更加完善，乃是长久发展之计。等到王叔将长城修筑完毕，我大隋便固若金汤，再不惧外患来袭，那时候我们叔侄二人携手整顿吏治，休养民生，多则两三年，少则一两年，就又百废待兴，兴旺发达啦。”
杨林说道，“皇上，凡事欲速则不达，万一百姓生存无望，各地爆发民变，外部势力乘机骚扰，我们恐怕就难以收拾啦。现在已经有些地方时有民变发生，虽然都被弹压下去，并进行了安抚，就怕按下葫芦浮起瓢啊，皇上。还有突厥正在悄然起势，东边高句丽已然发展壮大起来，并时常骚扰边民百姓，不臣之心日盛，这些都不得不防啊，皇上。”
杨广一听并肩王如此固执，和自己争执此事，不由脸沉了下来，说道，“难道朕所作的这些，不是 为了解决这些问题吗？难道王叔认为朕所作所为，都是在瞎胡闹吗？”
杨林一见皇上龙颜不悦，知道自己说的可能有些言重了，便说道，“臣不是这个意思，臣只是......”
皇上杨广也感觉自己冒犯了王叔，于是和颜悦色的说道，“朕知道王叔所言，都是为了朕好。不过王叔放心，朕向你保证，此次修筑长城，所需银两，都由国库承担，户部调拨，绝不向地方百姓摊派，所用劳役，也全凭王叔定夺，王叔量力而行，朕绝不过分干预，朕也下定了决心，就算朕节衣缩食，缩减宫中开支，也要支持王叔完成这项工程。等王叔功成之日，朕再好好和王叔商讨民生大计，如何？”
话说到这个份上，杨林也就再也无力反驳了，只好应承下来，回府准备，过几天便返回了西都长安城。
并肩王哪里知道，修筑长城之事，不过是个幌子，皇上早就听从了宇文化及和杨素之计，担心并肩王屡次劝阻皇上，让皇上和他们很不开心，行事也不敢放开手脚，于是宇文化及便以修筑长城为理由，支开并肩王杨林，去掉杨林这块绊脚石。
杨林离开了东都洛阳，实指望皇上会因此有所收敛，重新以社稷为重，百姓为念，事情得到缓解，可是并肩王杨林未曾料到，事情却是愈发的严重起来。
正是：不忘兄嫂托孤事，鞠躬尽瘁为社稷。
只怕君臣不一心，亲近奸佞远贤臣。
并肩王杨林自从平定了汉王杨谅之乱后，由于积劳成疾，大病了一场。俗话说岁月不饶人啊，那个曾经叱咤风云的白衣少年，年轻的元帅，现在已经是须发花白的老将军啦。尤其因为多年四处征战，风餐露宿，枕戈待旦，更是 让杨林显得有些衰老。再加上几次受伤，对健康更是影响颇大，五十来岁的年纪，已经让杨林感到了身体大不如前。