刘邦感到奇怪，问道：“彼何为者？”四个人向前对答，各自说出姓名，叫东园公、角里先生、绮里季、夏黄公（商山四皓）。

刘邦于是大惊说：“吾求公数岁，公辟逃我，今公何自从吾儿游乎？”四人都说：“陛下轻士善骂，臣等义不受辱，故恐而亡匿。窃闻太子为人仁孝，恭敬爱士，天下莫不延颈欲为太子死者，故臣等来耳。”刘邦说：“烦公幸卒调护太子。”四个人敬酒祝福已毕，小步快走离去。刘邦目送他们，召唤戚夫人过来，指著那四个人给她看，说道：“我欲易之，彼四人辅之，羽翼已成，难动矣。吕后真而主矣。”

戚夫人哭泣起来，刘邦说：“为我楚舞，吾为若楚歌。”刘邦唱道：“鸿鹄高飞，一举千里。羽翮已就，横绝四海。横绝四海，当可奈何！虽有矰缴，尚安所施！”刘邦唱了几遍，戚夫人抽泣流泪，刘邦起身离去，酒宴结束。刘邦最终没更换太子，戚夫人也在刘邦死后，遭吕后拔头发、断手、断脚丢进化粪池。折叠消灭异姓王在楚汉战争中，刘邦为了换取各路重要将领的支持战胜项羽，曾封韩信等人为王。

这样在西汉皇朝建立之初，被封的异姓王共有八人，即齐王韩信（后徙为楚王）、梁王彭越、淮南王英布、韩王信、赵王张耳、燕王臧荼（后更立卢绾）、衡山王吴芮（后改为长沙王）、闽粤王亡诸。

王国的封地，多者一百多城，少者三四十县，总面积比朝廷直辖郡县还要多，而且各王都拥有兵众，行政、财政自专，名为汉臣，实为汉不能控制之独立王国，对朝廷造成很大威胁。在刘邦称帝之后的七年中，绝大部分精力是用来对付这些异姓王。结果，燕王臧荼最先起兵，兵败后被俘；韩信、彭越被杀；韩王信、陈豨等败后叛逃匈奴，后战败被杀；英布起兵淮南，亦被迅速平定；燕王卢绾逃入匈奴。

只有长沙国作为汉与南越之间的缓冲，且势力弱小得以保存，汉文帝后七年，因长沙王无子而国除。汉高帝五年（公元前202年），开始兴建都城长安，当时以秦朝的兴乐宫为基础，修建长乐宫，做为皇宫。汉高帝七年（公元前200年），长乐宫建成，刘邦从洛阳迁都长安，并在长乐宫行叔孙通所制定的汉朝朝仪。

汉高帝八年（公元前199年），丞相萧何主持修建未央宫，并于长乐宫和未央宫之间修建武库，又于长安东南修建太仓。刘邦看到宫殿非常壮观，很生气的对萧何说：“天下匈匈苦战数岁，成败未可知，是何治宫室过度也？”萧何说：“天下方未定，故可因遂就宫室。且夫天子四海为家，非壮丽无以重威，且无令后世有以加也。”刘邦这才信服。秦亡以后，漠北的匈奴乘机南下骚扰汉朝北方边境。

汉高帝六年（公元前201年），韩王信投降匈奴。汉高帝七年（公元前200年），在北伐匈奴时，刘邦自己亦被冒顿单于30万骑围于白登（今山西省大同）。后用陈平之计，贿赂匈奴阏氏才得以脱险。又接受娄敬之策，以宗室女假称长公主，远嫁冒顿单于，开始了与匈奴的和亲政策。

汉高帝十二年（公元前195年），刘邦平定英布叛乱后，途中路过故乡沛县。在沛宫置备酒席，把老朋友和父老子弟都请来一起开怀畅饮。乡民们还召集沛中儿童120人唱歌助兴。酒到浓时，刘邦弹击著筑琴，唱起自编的楚歌：“大风起兮云飞扬，威加海内兮归故乡，安得猛士兮守四方！”让儿童们跟着学唱。刘邦边歌边舞，热泪盈眶。

他对沛县父老兄弟说：“游子悲故乡。吾虽都关中，万岁后吾魂魄犹乐思沛。且朕自沛公以诛暴逆，遂有天下，其以沛为朕汤沐邑，复其民，世世无有所与。”沛县的父老兄弟天天快活饮酒，尽情欢宴，叙谈往事，取笑作乐。过了十多天，刘邦决定要走了，沛县父老坚决要刘邦多留几日。

刘邦说：“吾人众多，父兄不能给。”于是离开沛县。这天，沛县城里全空了，百姓都赶到城西来敬献牛、酒等礼物。刘邦又停下来，搭起帐篷，痛饮三天。沛县父兄都叩头请求说：“沛幸得复，丰未复，唯陛下哀怜之。”刘邦说：“丰吾所生长，极不忘耳，吾特为其以雍齿故反我为魏。”但在百姓的再三请求下，刘邦才答应免除丰邑的赋税徭役，并封沛侯刘濞为吴王。

逝世

刘邦在讨伐英布叛乱时，为流矢所中，病得很厉害，不想见人，躺在皇宫之中，诏令守门武士不得让群臣进入。群臣中如周勃、灌婴等人都不敢进宫。这样过了十多天，樊哙推开宫门，闯了进去，后面群臣紧紧跟随。看到刘邦枕着一个宦官躺在床上。