因为阴丽华的一再谦让，光武帝未能封她为后，却给予了她更多的爱。而郭圣通虽然贵为皇后，却一点也不得宠。久居深宫之中，这个寂寞的女人便渐渐地滋生出不满和嫉妒。看到光武帝和阴丽华之间情意浓浓，她心中妒火中烧，便将阴丽华视为眼中钉，处处与她作对。阴丽华本性谦让，虽然深受光武帝喜爱，但丝毫不敢恃宠而骄，反而处处忍让，息事宁人。光武帝把一切看在眼里，对谦卑忍让的阴丽华越发垂怜，废掉郭皇后的想法越来越强烈。
建武九年(33)突然天降大祸，阴丽华的母亲邓氏和弟弟阴被强盗杀害了。这桩消息传来，阴丽华受到了沉重的打击。她七岁就丧父，被慈母辛勤地抚养长大，后来跟随光武帝之后，也没有时间侍奉母亲，现在母亲竟然死于非命，阴丽华心中悲恸不已。而目睹此景的刘秀也想起自己幼年失恃的经历，心中甚为感伤，便令大司空前往阴家慰问家属，并带去了诏书：
朕微贱之时，娶阴氏为妻，后来因领兵出征，与她分离了两年，幸亏两人都脱离虎口，平安无事。阴贵人有母仪之德，本应立为皇后，但她一再推辞，宁愿屈居妾位。朕欣赏她的谦让，许诺分封她的兄弟。不料未及封爵，母子二人同时死于非命，实在令人悲伤。
这份亲笔书写的诏书情真意切，足以看出光武帝对阴丽华的感情之深。为了抚慰亡灵，他还追封了阴丽华已故父亲阴陆和她的兄弟阴，由阴丽华的弟弟阴就继嗣宣恩侯。
但这些追封的功名换不回已逝的亲人，阴丽华受到的打击之大让她很长时间都落落寡欢。刘秀在政务之余也尽量抽出时间陪伴妻子，安抚她受伤的心灵。而这时候，郭皇后更加嫉妒，依然以一副盛气凌人的样子处处与阴丽华较劲。忍无可忍的光武帝最终下诏废黜了郭皇后，在建武十七年(41)十月，另立阴丽华为后。这一年，阴丽华已经三十七岁了，岁月的沧桑让她变得越发的从容和淡定，对苍生的悲悯和宽容让她很快就赢得了朝野上下的敬重。