长孙皇后去世，葬于昭陵，谥号文德皇后。长孙皇后入葬昭陵后，李世民对她思念无法停止，为了缓解思忆之苦，便在宫中建起了层观，终日眺望妻子的陵墓，还让大臣陪同悼念。一次李世民让魏徵陪同，并指着昭陵的方向问魏徵是否看清了，魏徵装作没看见，李世民顿时着急，问“怎么会没看见，那是昭陵啊！”魏徵闻言回答说“以为陛下望的是献陵，原来是昭陵啊！”李世民听后明白魏徵是在提醒自己，不要只顾及思念亡妻而忘了父亲。于是便哭着下令拆掉了层观。尽管李世民这样追思妻子的行为是违背礼教传统的，却是一个天子的真情流露。

刘辩不禁感叹道：“这魏征也是真性情者啊，心也真大，什么都敢谏言。此人是真不怕惹了李二，被砍脑袋啊。”

“不过这样的人虽然是忠臣，但是对皇上而言，却是一种考验啊。”刘辩无奈道，如果魏征真的被他召唤到，刘辩觉得还是不要把魏征放在身边好，把他发配到地方就行，留在身边的话，显然是要揭他短的。

贞观十七年魏徵病死，李世民非常伤心，并为此废朝五天。追赠魏徵为司空、相州都督，谥“文贞”。李世民下诏厚葬魏徵，但魏徵的妻子裴氏以魏徵生平生活简朴朴素，豪华的葬礼不是亡者之志为由拒绝。裴氏只有小车装载魏徵灵柩，李世民召文武百官出城相送，并亲自刻书碑文。

魏徵死后，李世民经常对身边的侍臣说：“用铜镜可以端正自己的衣冠，以古史作为镜子，可以知晓兴衰更替，以人作为镜子，可以看清得失。我经常用这样的方式防止自己犯错，但现在魏徵去世，我少了一面镜子。魏徵去世后朕派人到他家里，得到他的一页遗表，才刚起草，字都难以辨识，只有前面几行，稍微可以辨认，上面写道：‘天下的事情，有善有恶，任用善人国家就安定，任用恶人国家就衰败，公卿大臣中，感情有爱有憎，自己憎的就只看见他的恶，自己爱的就只看见他的善。爱憎之间，应当审慎，如果爱而知道他的恶，憎而知道他的善，除去邪恶不犹豫，任用贤人不猜忌，国家就可以兴盛了。’遗表的大意就是这样，然而朕思考这事，自己恐怕不能避免魏徵所说的这些过错。公卿侍臣，可以把这些话写在手板上，知道朕有过错一定要进谏。”

同年二月，李世民命阎立本画二十四功臣像置入凌烟阁，魏徵位列第三。不久之后，侯君集以谋反罪被处死，杜正伦被罢免，魏徵曾经向李世民推荐这两人，说他们有宰相之才，魏徵又拿自己前后的谏辞给史官褚遂良，李世民知道开始怀疑魏徵是不是侯君集一党的。于是手诏取消衡山公主与魏徵长子魏叔玉的婚约。李世民亲征高句丽，战士死伤数千人，战马损失十分之七八，他深深悔恨这一举动，不禁慨然叹息说：“魏徵若在，不使我有是行也。“于是立命驰驿以少牢之礼祭祀魏徵，又重立纪念碑。

魏徵以直言敢谏而闻名，据记载统计，魏徵向李世民面陈谏议有五十次，呈送给李世民的奏疏十一件，一生的谏诤多达“数十余万言”。其次数之多，言辞之激切，态度之坚定，都是其他大臣所难以伦比的。李世民问魏徵：“君主怎样能够明辨是非，怎样叫昏庸糊涂？”魏徵答：“广泛地听取意见就能明辨是非，偏信某个人就会昏庸糊涂。从前帝尧明晰地向下面民众了解情况，所以有苗作恶之事及时掌握。舜帝耳听四面，眼观八方，故共、鲧、欢兜都不能蒙蔽他。秦二世偏信赵高，在望夷宫被赵高所杀；梁武帝偏信朱异，在台城因受贿被下臣侮辱；隋炀帝偏信虞世基,死于扬州的彭城阁兵变。所以人君广泛听取意见,则宦官不敢蒙蔽。

传说，当年魏徵小时候魏家是我们这一带有名的大户人家。全家直系血亲一百多人，谁也不要求分家另过，团结一致，上敬老，下爱幼。主持家中日常事务的当家人，都是未婚少年，一旦长大成婚，就要再换别的未婚男子当家。此事传到隋文帝耳中，他感到稀奇，就趁微服私访的机会，打扮成僧人模样，到魏家控访。到了魏家，文帝见果真是一个十几岁的小男孩当家，心中不禁感到疑惑，于是想试一试这孩子的管家能力如何。

文帝从兜中掏出两个甜梨，说：“魏公子，贫僧想向你求教家中公平待人之道，请你把这两个梨不偏不倚分给全家所有的人吃，人人都要尝到。”这个魏公子，就是魏徵。虽年纪小，却聪明过人，思维敏捷。他说：“好，谢谢高僧赠梨，请随我来。”随即请文帝一起来到厨房，吩咐说：“这两个梨乃高僧好心所赠，请费心将这两个梨洗净，切开捣碎，放入锅中煮梨汤，请全家老小一齐享用，也不辜负高僧的一片美意……。”

魏徵鉴于隋末人口流亡、经济凋敝、百废待兴的事实，力劝李世民偃革兴文，实行有利于国计民生的休养生息政策，表现了他政治上的“致化”思想。李世民即位初，曾与群臣谈及教化百姓之事。李世民认为大乱之后，恐怕难以教化。魏徵则认为：“久安之民骄佚，骄佚则难教；经乱之民愁苦，愁苦则易化。”他举例说，犹如“饥者易为食，渴者易为饮”一样。他还批驳大臣封德彝的“人渐浇讹，故秦任法律、汉杂霸道，盖欲化而不能”的说法，认为商汤灭夏桀，周武王伐纣，“皆能身致太平，岂非承大乱之后邪！”他又进一步说：“若谓古人淳朴，渐至浇讹，则至于今日，当悉化为鬼魅矣，人主安得而治之！”