吕不韦晚年没有给自己的人生画上圆满的句号。
鉴于他和嬴政的特殊关系，在平定嫪毐叛乱后，吕不韦仅被免去了丞相的职务。但是，嬴政自幼年起所经历的畸形的家庭生活，给他身心留下了太多的伤痛。他亲眼目睹了母亲放荡、不检点的生活，甚至自己都是十七八岁的大小伙子了，吕不韦还明目张胆地入后宫和母亲厮混，尤其那个嫪毐，简直是一头牲口。嫪毐已被镇压，嬴政不担心了，可吕不韦还在咸阳，他如果哪天再入后宫，和太后旧情重燃，岂不又惹麻烦？
嬴政毕竟是政治家，他从秦国稳定、秦国发展的高度考虑问题，再次做出决定，让吕不韦离开咸阳，到封地洛阳，“就国河南”。应该说，嬴政做出这样的决定，依旧给足了吕不韦的面子。到洛阳，你食十万户租税，你还是文信侯，依旧享受荣华富贵，而且远离了政治中心，还落得个安全、清净。从这点看，嬴政用心良苦，为吕不韦安排了安度晚年的去处，也算是解决他们特殊关系的最佳方案吧。
吕不韦怎么办？他要是真聪明，应该心悦诚服地到洛阳去，低调做人，闭门谢客，“韬光养晦”，总结自己从政以来的得与失，安度晚年。
但是，吕不韦没有这样做，他自以为在洛阳可以积攒力量，发展势力，也许还会有些“作为”，甚至东山再起！
来洛阳后，吕不韦果然又活跃起来了，他广泛交结，家中整日酒席不断，高朋满座，前来拜访、探望的各国使者宾客络绎不绝。《史记·吕不韦列传》载：“岁余，诸侯宾客使者相望于道，请文信侯。”
吕不韦在洛阳的活动，很快传到政治嗅觉很敏感的嬴政那里。嬴政刚亲政，需要稳定，没想到吕不韦不接受教训，耐不住寂寞，这真不能容忍！嬴政终于感到必须对吕不韦采取最后的一招了。
秦王政十二年（公元前235年）他派人给吕不韦送了一封信，吕不韦打开一看，只见上面写道：
“君何功于秦？秦封君河南十万户？君何亲于秦？号称仲父！与其家属徙蜀！”这封信是嬴政对吕不韦政治地位和亲情关系的彻底否定：
第一，你吕不韦对于秦国无功，不应该享受租税食邑；
第二，你吕不韦与我无亲，不该称仲父。一个既无功又与我不沾亲的人，跟我有何关系，赶快远远的离开这里！
按说，君主处死一个失势下野的大臣，用不着说这么多的话，可是嬴政却非要对吕不韦给个说法。可是这个说法却泄漏了“天机”，所谓“无功”、“无亲”纯属正话反说，恰恰是“有功”、“有亲”。面对这样一封绝情信，吕不韦无言可辩，他后悔自己的失误，感叹自己的命运不济，但一切都晚了。不久他喝下毒酒自杀。
关于吕不韦之死，还有一种说法，他是在迁蜀路上服毒自杀的。司马迁在《太史公自序》中说“不韦迁蜀，世传《吕览》。”学术界不少人认为，吕不韦得知迁蜀而自杀，未曾至蜀。
从吕不韦弃商从政，建立显赫功绩，到一再失误，落得悲惨结局，可以看出，他始终以商人投机的心态和“赢利”的价值观处理事务。他的谋略和活动能量都是超一流的，任丞相一职也名副其实，但他在处理个人问题上就不那么聪明了，他私心太重，有利就钻，见便宜就占，终于使嬴政改变了对他的看法，政治关系取代了情感关系，吕不韦晚节不保，身败名裂，为后人留下深深的思索。