卢生、侯生逃亡之事，心中非常郁闷。他也开始怀疑仙人是否真的能够找到。
随着年龄的增长，长子扶苏日渐成熟，在政治上也表现出了很多天分，他博闻强识，谦虚谨慎，心存仁爱，并且私下里亲近蒙毅等能臣，虽然在很多事情上与始皇帝存在意见分歧，但是始皇帝心中也不得不承认扶苏会是一个合格的接班人。
但是就性情上来讲，始皇帝却更喜欢与幼子胡亥亲近。胡亥没有任何政治天分，对国家大事也不感兴趣，但是他却对父亲发自内心的崇拜和孝敬，或许正因如此，他在生活中表现出更多的真性情。因此始皇帝每当遇到烦心之事，都喜欢让胡亥陪在身边。与胡亥在一起便会暂时忘记政治上的烦恼，只是以一个父亲的身份来教导儿子，也只有在此时才更能够体会到人生的天伦之乐。
就在扶苏离开咸阳的那个晚上，始皇帝心中烦闷，信步来到胡亥的宫中。
胡亥此时正在玩弄自己雕刻的木偶，见到始皇帝来到，连忙起身迎接，道：“父皇！您来的正是时候，快来快来，看看孩儿的雕刻！”
始皇帝一向宠爱胡亥，又没有对他寄予治国的厚望，因此对他喜好玩乐并不反感，只是让赵高教授他一些刑法断狱的常识。
始皇帝拿起两个小木人，“亥儿的雕刻越来越精湛了！这里怎么有一大一小两木人？是不是因为小的那个木料不够了？”始皇帝笑呵呵的问道。
“才不是呢，我是故意雕刻一个大的，一个小的，大的是父皇，小的是亥儿，我要永远陪着父皇，就像这两个木人，大的出现在哪里，小的就出现在哪里！”
“呵呵……难得亥儿如此孝顺啊！”始皇帝倍感温存。
“我还要雕刻好多呢，就像父皇下令制作的兵马俑，我也想照着兵马俑的样子为父皇雕刻出来一支威武的军队！”始皇帝曾带诸公子参观正在修建的骊山陵墓，胡亥对威武的兵马俑非常感兴趣。
“哈哈……那可需要太多了，你如果真这么想，就让下人们去雕刻好了！”
“亥儿要自己雕刻，我闲着也是无聊，不像大哥，父皇每次出巡都带着他，听说外面有好多好玩的，我都没玩过！”
“怎么，亥儿也想跟随父皇出巡吗？”
胡亥立刻眼睛放光，道：“当然想啊，跟着父皇出去，不仅可以一直陪着父皇，还可以看看外面的世界，整天呆在宫中都快闷死了。”
始皇帝见胡亥如此孝顺，便开心的说道：“好，下次出巡朕也带上你，让你出去看看我大秦的江山！看看辽阔的大海！”
胡亥一听始皇帝答应带自己出游，兴奋异常，连忙道：“谢父皇，谢父皇！您是天下最伟大最仁慈的皇帝！”
“哈哈……”
与胡亥呆在一起，始皇帝瞬间感觉轻松了许多，因扶苏惹出的不快也一扫而光。
始皇帝三十五年，前后经过八年的修建，万里长城终于铸成，始皇帝心中对于帝国安危仅剩的担心——匈奴，已经被完全挡在中原之外。大秦帝国至少在表面上已经固若磐石！
此时，以咸阳为中心的驰道四通八达，使得皇帝出行和百姓流动大为通畅，商业开始繁荣。但这同时出现了一个意料之外的后果，就是四周的百姓开始不断迁移到咸阳，加上从原来始皇帝就从东方六国迁移了大量的富豪，咸阳越发显得拥挤。
始皇帝喜欢易服出巡，时常感到诸多不便：咸阳城道路狭窄，人流密集，如果有两驾马车迎面驶过必定会占据了全部道路，行人无处避让；而且很多新迁移到咸阳的居民四处建房，使得咸阳城非常杂乱无章。
于是在朝议时，始皇帝道：“我觉得现如今咸阳人口众多，先王的宫廷也太过狭小了。听说周文王建都丰，武王建都镐，丰镐之间，都是帝王的都城所在。”
中车府令赵高立刻明白了始皇帝的意思，便符合道：“陛下自即位以来，扫六合，平天下，建立空前的功业，而居住的却仍然是先王的宫殿，是不合时宜的。”
李斯也明白始皇帝的意思，咸阳城拥挤的情况他也非常清楚，因此接着道：“咸阳的皇宫是按照诸侯宫殿的标准兴建的，而今陛下振长策而于宇内，富有四海，远非此前的诸侯可比，的确不应该再居住在以前的宫殿，并且近几年来现在咸阳人口急剧增加，渭水之北受两河限制，难以继续扩展，臣希望陛下另建新城！”
丞相冯去疾却道：“这几年，国家不断征发民力，修驰道，筑长城，北逐匈奴，南平百越，老臣以为应当与民修养，新城要建，但不宜操之过急。”
赵高反驳道：“丞相此言夸大了，如今除了骊山陵墓正在修建，国家根本没有大的工程，臣以为此时恰恰是时机，可以用省下来的民力修建新城，使之与咸阳城相连，彻底解决咸阳拥挤的现象。”
始皇帝见群臣都赞成修建新城，便道：“诸位爱卿都忠于国事，我非常高兴，冯丞相说的也有道理，兴建新城事关国家大计，不可能一蹴而就，我想先在渭水南岸的上林苑中兴建朝宫，以朝宫为中心，再兴建新城，如今先兴建朝宫，听说中车府令精通营造之事，希望你为我规划新宫。新宫即在渭水之南就暂时称作阿房宫吧！”
“臣一定不负圣望！”
一月之后，赵高绘制了新宫的图纸，对新皇宫进行了全面规划：新都城按照宇宙图式建造，朝宫之内引入渭水，象征天河，天河中间修建兰池，象征浩瀚的大海，然后兰池之中建造寝宫，称为仙岛，始皇帝闲暇之时便可在仙岛上求仙问道；
前殿是阿房宫的主体宫殿。东西五百步，南北五十丈，殿堂上可以坐一万人，殿堂顶下可以竖立五丈高的旗帜。周围环绕着架起阁道，从殿下直达南山。在南山的山顶上修建标志，作为门阙。在空中架设道路，从阿房宫渡过渭水，与咸阳相连接，以此象征天下阁道越过天河直至营室；
阿房宫门阙为磁石门，凡是觐见皇帝的人都要从此门经过，这样，行刺者所携带的兵器便会被磁石所吸引，从而保卫皇帝安全，震慑四夷；
此外，新宫之中还修建了上天台和祭地坛，分别祭祀天神和地神，以保佑大秦江山永固，万世不息。
始皇帝看了大为满意，于是召集隐官刑徒七十多万人，分成几批营造阿房宫，或修建骊山工程。挖运北山的石头，输送蜀地、荆地的木材，都集中到这里。关口口计宫殿三百座，关外四百多座。