魏徵像唐太宗执政公开严明，鼓励大臣直谏，所以他手下有许多敢于直言进谏的大臣。而在这些谏臣中，最突出的当属魏徵，他经常进谏，提出过许多很好的建议，甚至常常与李世民当面争执，即使李世民大怒，也还是神色不变，坚持自己的看法。
公元626年，李世民下诏征兵，规定不满十八岁而个头高大的男子，也可以征。魏徵却扣住了这道诏书不发，太宗连催几次，他都不理。李世民大怒，召来魏徵训斥他大胆抗旨。魏徵镇定地说：“臣听说竭泽而渔，就无鱼可捕了。陛下将不满18岁但身强力壮的男子征来当兵，以后再到哪里去征兵呢？再说，国家的赋税让谁来负担呢，并且陛下以前宣布18岁以上的男子才征，现在的诏书一下，你不是失言于天下吗？”李世民听了，哑口无言，良久，才承认自己错了，撤销了这道诏书，还提升魏徵为太子太师。
一天，李世民正在逗弄一只小鹞（即雀鹰，比鹰小，可帮助打猎），见魏徵进来，怕他责怪，忙将它藏在怀中，魏徵装作没看见，向太宗奏事，又故意拖延时间。等他离开，小鹞已经闷死了。
还有一次，太宗退朝回到宫中，怒气冲冲地说：“总有一天，我要杀死这个乡下佬。”长孙皇后忙问杀谁。太宗说：“魏徵常常当面顶撞我，使我难堪。”长孙皇后就退出去穿上礼服再进来，向李世民道贺道：“君主圣明，臣下才敢直言进谏，魏徵敢于当面顶撞陛下，说明陛下是圣明之君，臣妾怎能不向陛下祝贺呢？”李世民听了皇后委婉的批评和规劝，怒气顿消，清醒地认识到虚心纳谏对于天下兴亡的重要性。
贞观中期以后出现了盛世，大臣都极力歌颂李世民，只有魏徵保持着清醒的头脑，给李世民指出了10个缺点，要他警惕。李世民就郑重地将它抄在屏风上，以便早晚阅读，引为戒鉴。公元643年，魏徵病死，李世民十分悲痛，说：“以铜为镜，可以正衣冠，以史为镜，可以知兴替；以人为镜，可以明是非。魏徵一死，我失去了一面镜子。”