晋孝武帝司马曜，字昌明，生于晋哀帝隆和元年（362年）。他的祖父是东晋开国皇帝晋元帝司马睿，父亲是会稽王司马昱（后来的简文帝），母亲是李陵容（孝武文太后）。司马昱共有七个儿子，但前五个都早亡，只有司马曜和胞弟司马道子存活下来。兴宁三年（365年）琅玡王司马奕继承皇位后，司马昱徙封琅玡王，四岁的司马曜则继其父会稽王之位。太和六年（371年）十一月，大军阀桓温带兵入京，发动宫廷政变，通过崇德太后褚蒜子之命废司马奕为东海王，并拥立琅玡王司马昱即皇帝位，是为晋太宗简文帝，司马曜也就成为皇子。
东晋自司马睿开国江左以来，一直处于士族门阀的轮流支配之下，形成门阀政治的格局，而除了元帝司马睿、明帝司马绍稍有作为以外，其他皇帝都是几乎傀儡般的存在。到了简文帝司马昱时，这种皇权不振、士族专权的局面更达到极点，桓温完全掌控了朝廷大政，连谢安都视其为“君”，史称“政由桓氏，祭则寡人”，而他的野心则是要简文帝“禅位于己”，达到倾移晋鼎的目的。简文帝登基仅八个月便得了重病，于咸安二年（372年）七月二十三日连发四诏，催促尚居姑孰的桓温入朝辅政，桓温故意推辞；五天后，简文帝病情加剧，遂册封会稽王司马曜为皇太子，并遗诏“大司马温依周公居摄故事”，又说：“少子可辅者辅之，如不可，君自取之。”此时的晋朝国运可以说到了千钧一发的地步，因为桓温完全可以凭借简文帝遗诏而篡晋自立，这是其他士族所不愿看到的。因此，出身太原王氏的侍中王坦之当着简文帝的面撕掉了这封诏书，简文帝被迫同意将遗诏改为““家国事一禀大司马，如诸葛武侯（诸葛亮）、王丞相（王导）故事。”随即简文帝驾崩。但群臣中仍有慑于桓温淫威的人提议：““当须大司马处分。”出身琅琊王氏的尚书仆射王彪之正色说：“天子崩，太子代立，大司马何容得异？若先面谘，必反为所责。”于是朝议确定，皇太子司马曜登基为帝，是为孝武帝。崇德太后又以司马曜年幼，又在为大行皇帝服丧为由，再次命桓温行周公居摄故事，命令下达后，王彪之说：“此异常大事，大司马必当固让，使万机停滞，稽废山陵，未敢奉令，谨具封还。”此令遂未施行。就在晋室命悬一线、不绝如缕的关键时刻，各家士族门阀联手阻止了桓温篡晋的阴谋，确保了司马曜的顺利即位及东晋王朝的延续。
孝武帝司马曜刚继位三个月，就发生了道教徒卢悚率众三百人攻入建康殿庭，略取库兵，欲复辟海西公司马奕的变乱。此乱矛头直指桓温，客观上增加了王、谢等士族抗拒桓温的效果。桓温在宁康元年（373年）二月自姑孰入京，风传他有诛王、谢，移晋鼎的打算，王坦之、谢安等严阵以待，桓温也只就前一年冬所谓彭城妖人卢悚率众突入殿庭一事穷加究治。稍后桓温生病，病中犹要求朝廷为其加九锡，王坦之、谢安等延宕其事。是年七月，桓温死。孝武帝继位之初的危机期总算有惊无险地过渡了。