渐渐的二人越说越投机，因为彼此比较熟悉，就往往不分你我。有一次在吕不韦家喝酒的时候，子楚因为高兴，多喝了几杯，便不知怎么的，对吕不韦标致的小妾赵姬格外感兴趣，甚至要动手动脚。当时小妾已经怀孕了，吕不韦假装很生气，就说我已经把我所有的东西都奉献给了你，你怎么如此贪得无厌。后来看看没有办法，就把赵姬送给了子楚。这子楚算是夺人所爱，当然对吕不韦言听计从，后来又多亏了吕不韦的上下打点，才在秦国做了太子。不久老秦王去世，子楚便被继承王位，史称秦庄襄王。
　　
　　可见，秦始皇极有可能就是吕不韦的儿子，而且他在野心勃勃和敏锐的洞察力上也和吕不韦非常相似。史记为了继续坚持这种观点，还一再强调，秦始皇渐渐大了的时候，秦始皇的母亲还和吕不韦保持着暧昧的关系。
　　
　　不过，也有人反对这种观点，认为始皇帝就是子楚的种。
　　
　　其一，吕不韦最后是被秦始皇逼得自杀了。秦始皇还有几句话“君何功於秦？秦封君河南，食十万户。君何亲於秦？号称仲父！”假如真是他亲爹的话，怕下不了手吧。历史上儿子杀老子的并不太多。
　　
　　其二，赵姬怀孕没有旁证。记载秦始皇的身世的书有《战国策》《史记》《淮南子》《潜夫论》等，但这些书大都没有提到怀孕的事情。尤其是《战国策》，对带有传奇色彩的故事特别感兴趣，如对秦惠王夫人宣太后与魏丑夫以及戎王苟合的故事，对楚国春申君与后来成为楚考烈王夫人李嬛的情缘，都照单全收，做了生动的记述。如果吕不韦与秦始皇母子有那么一种关系，战国策自然也会详细的叙述。