在忽必烈的晚年，他的个人生活也遭遇了一连串的挫折和不幸。他最钟爱的妻子察必在1281的去世使忽必烈陷入孤独和痛苦之中。察必所生的儿子真金早已被立为皇太子。察必还是忽必烈妻子当中唯一在太庙中立有牌位的女人。在忽必烈统治初期，察必是一位不可或缺的助手。也许是纯粹的巧合，但是不可否认，在她死后，忽必烈个人，乃至整个中国都遭受了一系列的激烈变故。察必或许不能防止这些灾难的发生，但是她也许能够发挥自己的影响力，遏制忽必烈当时做出的一些稀奇古怪的决定。
南必在察必去世后成为忽必烈的正妻。她是察必的一个远房亲戚。可能是察必知道自己的健康状况恶化后，亲自选定她做自己的继任者。遗憾的是，我们对她的继任者的了解远不如对她的那么多。据说，在忽必烈日渐衰老的时候，南必曾自己做出重要的政治决定。可能因为对察必和其他亲属去世感到忧伤和失望，忽必烈晚年很少见人，他的朝臣不得不通过南必向他呈送报告，而她则把忽必烈的决定和命令转告给他们。汉文史料显示，忽必烈在病重时，曾允许她以他的名义发布诏令，但他们并没有指出哪些具体决定是由南必做出的。和当时其他许多蒙古皇后和贵族一样，她个人是非常自信的，在政治上是很有影响力的。
关于忽必烈其他妻子的记载很少。传统上，蒙古可汗有四个斡耳朵，忽必烈也不例外。他的第一个妻子帖古伦，在他1260年成为大汗之前就去世了。他的最着名、最有影响力的妻子，察必和南必，同属于第二斡耳朵。察必给他生了四个儿子，南必给他生了一个儿子。察必的儿子真金被选定为忽必烈的继承人，另一个儿子朵儿只，先于他父亲而死。其他两个儿子，忙哥剌和那木罕，都未被选定为继承人。但是，我们看到，忽必烈对他们有足够的信任。忙哥剌被立为安西王(今陕西省)，那木罕则是北安王。忽必烈曾派遣他们参加了几次重要的军事远征。他的其他几个儿子，其中包括脱欢，也承担了重要的军事任务，但是他们也受到了被征服地区文化的影响。例如，忙哥剌的儿子和继承人阿难答，就是在一个穆斯林家庭中被抚养长大的。而且，根据拉施都丁的记载，在他成年以后，他使自己率领的十五万军队中的大多数人皈依了伊斯兰教。对于南必的儿子，我们一无所知。同样，对忽必烈第三和第四斡耳朵的妻子，除了她们生了另外七个儿子外，其他方面的情况我们也是一无所知。
察必无疑是忽必烈最钟爱的妻子，她的去世和皇太子真金在1285年的英年早逝，不仅令忽必烈心碎，而且破坏了他的皇位继承计划。察必的突出地位可以由下列事实证实：在忽必烈所有妻子中，只有她的画像留存了下来，这幅画像是由汉人和蒙古画家联合绘制的。这无疑部分解释了为什么忽必烈晚年在决策方面会反复无常，那是因为他对察必的去世感到深深失望。
同样使他感到悲哀的还有他最喜爱的儿子真金的去世。真金是他亲自选定的继承人，他曾精心培养他，以便将来承担大汗和中国皇帝的重任。真金的老师由当时一些最着名的人物担任，他所学习的科目从中国历史到佛教，无所不包，这一切使他完全有能力承担统治帝国的重任。然而他刚过四十岁便去世了，这场变故使忽必烈心灰意冷，并使整个朝廷充满阴郁的气氛。真金的儿子铁穆耳后来被选定为忽必烈的继承人，并于1294年成为中国皇帝，号成宗。
忽必烈的女儿只有两位在历史上被提及过，我们不清楚他到底一共有几个女儿。不过，这一代年轻的蒙古宫廷女性对政治的影响微乎其微。从成吉思汗的母亲诃额伦开始，一直到察必，蒙古女性都是很强有力的。然而，忽必烈的女儿在政治上没有发挥过任何作用。或许她们受到了汉文化的影响，而汉文化严禁妇女参政，并极力限制她们的政治影响。另一方面，也许忽必烈的女儿根本就对政治缺乏兴趣。不管最后的解释是什么，中国史学家只记载了忽必烈两个女儿的名字。据记载，妙严是一位虔诚的佛教徒，她成了一位尼姑，住在北京西山的潭柘寺，死后葬在那里。她拜观音菩萨，“日夜热心事佛，虔诚地叩头，以至于石阶上她的额印和脚印清晰可见”。她的画像曾悬挂于这所寺庙的殿堂上，一本印刷于1935年的北京指南说，当时她的画像还原封不动地挂在那里。忽都鲁揭里迷失是忽必烈的另一个女儿，她也在历史上留下了自己的名字。正如前文所述，她父亲用她达到了自己的政治目的。他把她嫁给了高丽国王，这场婚姻加强了元廷和它的高丽属国的联合。对忽必烈女儿的其他故事我们知之不多，但是可以肯定，她们无法和忽必烈同时代以及以前的那些自信且富有个性的其他女性相比。
个人的不幸加上国内外决策的失败，使忽必烈感到沉重的压力，也使他越来越转向穷奢极欲，寻求安慰和满足。宫廷宴会变得越来越奢华。宴会菜肴是以肉食为主的蒙古菜。为了使忽必烈感到舒心，日常饭食也是精心制作且相当奢侈。煮羊肉和烤全羊是两道必上的菜，再加上其他肥腻食物作为肉食的补充。一顿典型的膳食可能包括烤羊羔肉、鸡蛋、藏红花拌生菜、烤薄饼、糖茶、忽迷思(马奶酒)以及一种用小米做成的啤酒等。宴会饮食自然更加精致。蒙古人从不在乎暴饮暴食，特别在正式场合更是这样。暴饮暴食成了一种习惯而不是例外。蒙古可汗历来都酗酒，而此时忽必烈也养成了这种恶习。他暴饮忽迷思和葡萄酒，使他更无法解决面对的政治危机。
他的饮食习惯也造成了健康问题。在他最后十年的生活中，他一直被肥胖病和由此带来的其他疾病所困扰。1280年刘贯道为他画的像已经显露出他的肥胖体态，但在13世纪80年代末，他的饮食习惯真正使他陷入了麻烦。他胖得不成样子，并开始遭受痛风和其他疾病的折磨。他的酗酒习惯更加重了他的身体疾病。马可·波罗是曾亲眼目睹蒙古宫廷无节制宴饮场面的人之一。忽必烈和其他许多蒙古人一样，无法节制他的酗酒习惯，特别是当他被悲痛和衰老控制的时候，更是如此。他用了各种各样的方法治疗他的病症，从东南亚的药物和医生到高丽巫师，什么都用过了，但是都没有解决问题，而他暴食暴饮的习惯依然如故。
衰老、倦怠、失望和酗酒无度终于敲响了他的丧钟。汉文资料显示，早在1294年以前，他就极为沮丧消沉。他甚至拒绝接见那些按惯例来向大汗拜年的人们。他的军中老友伯颜到元廷拜访他，希望使他振作起来，但是没有成功。忽必烈的健康状况迅速恶化，在他八十岁那年的2月18日，他死在他宫中的紫檀殿。亲王和高官纷纷来到元廷表示哀悼，向忽必烈的孙子和继承人铁穆耳即后来的成宗问安。蒙古汗廷接着召开了忽里台选举继承人，但它实际上只不过认可了忽必烈的选择而已。忽里台开始逐渐被中国式的选立皇位继承人的方法所取代，再次显示出忽必烈逐渐适应汉族习惯的努力。