李渊称帝后，重用佞臣、猜忌功臣、爱好酒色，这些都使得他当皇帝后无法有更大的作为。原隋朝晋阳宫副监裴寂，在晋阳时就与李渊是酒肉朋友。他私送宫女给李渊，又常与李渊昼夜赌博饮酒，荒淫无度。晋阳起兵时，裴寂又送五百宫女给李渊，让他带着行军。李渊称帝后，认为裴寂功劳最大，授其高官厚禄，引为亲信。
原晋阳令刘文静，和李世民一起策动起兵，南征北战，是唐朝的开国功臣。刘文静对自己位在裴寂之下，甚感不平，遂与裴寂发生矛盾。公元619年的一天，刘文静酒后口出怨言，裴寂等乘机陷害，说刘文静欲反朝廷，李渊竟听信其言，杀死刘文静。李渊赏罚不明，加深了臣子内部的矛盾和斗争。
李渊统治后期，广纳妃嫔，安于后宫享乐。在有的妃子挑拨李建成和李世民之间的关系时，李渊没能及早制止，反而听信谗言，致使兄弟之间兵戎相见，发生流血事件。随着统一战争的顺利进行，李渊的思想开始松懈下来，安于享乐，对政治事务不再关心，这直接导致了皇储问题的产生。
李渊想让几个儿子和睦相处，但又在立皇太子的问题上，没有明确的主意，使得兄弟相争不已。在刘武周大举南下，攻陷太原威胁长安的时候，李渊亲自为儿子李世民送行，还许诺得胜回来后立他为太子。但李世民回来之后，李渊又反悔，听信后妃们的求情，保留了李建成的太子之位。这直接导致了兄弟之间的不和，成了激烈的太子之争的导火线。
太子李建成和秦王李世民为了争夺皇位明争暗斗，展开了你死我活的斗争。公元626年夏，突厥犯境，李建成向李渊推荐齐王李元吉为出征元帅，想借此把秦王府的精兵和骁将掌握在自己手中，然后除掉秦王。不料这一密谋被李世民得知。在这紧急关头，李世民先发制人，密告太子、齐王淫乱后宫，李渊决定次日诘问。
次日，李世民在玄武门设下伏兵。当太子、齐王途经玄武门时，李世民及部下将其杀死，并让心腹尉迟敬德带甲入宫报告李渊。此时李渊正和大臣萧禹、裴寂坐在一只小龙船上，荡漾在南海池中，他见尉迟敬德全副武装立在岸边，十分惊骇。尉迟敬德说，太子和齐王造反，秦王已把他们处死，特派我前来保驾，李渊听后惊得目瞪口呆。旁边的萧禹等赶忙劝李渊把国事都托付给秦王，尉迟敬德也敦促李渊下诏，令诸军悉受秦王节制，以便制止东宫和齐王府军队的骚乱。李渊无奈，被迫写下诏书，命令所有军队悉听秦王处置，并诏立世民为太子。此时，全国局势基本上被李世民控制，李渊无奈，表示愿早些退位。