在刘休茂之乱被平定后，刘骏再次动了限制宗室、藩王的念头。老机灵鬼刘义恭很快就揣摩出了刘骏心中所想，于是便先行上疏，请求进一步裁减、限制各个亲王，不允许他们统领沿边各州，并且收缴卫队的所有铠甲、武器，禁止各个亲王结交宾客朋友。刘骏见到刘义恭这么懂事，心中当然很高兴，但一个叫沈怀文的人却站出来坚决劝阻，使得这一方案最终没有通过。
这沈怀文是何许人也？沈怀文，字思明，出身吴兴沈氏，最早曾担任扬州从事，司徒行参军、东阁祭酒等职，之后又在刘诞手下任职。刘骏即位后，沈怀文被刘骏提拔重用，升任侍中，参与朝政核心大事的决策商议。沈怀文也是个直言进谏之人，但随着刘骏开始腐化，沈怀文的劝谏有时就让刘骏极为不高兴。
这次成功谏止刘骏抑黜宗王外镇之议也不是沈怀文第一次和刘骏唱对台戏。之前在攻克广陵平定刘诞后，刘骏就打算加重对其兄弟们的控制。但那时就遭到了沈怀文的劝阻，并引经据典说：“汉明帝不让他自己的儿子超过光武帝的儿子，从前的史书上，都把它作为美谈来记载。陛下您已经诛杀了管叔、蔡叔那样的人，但愿此后会推崇周成王封步虞、康叔于唐、卫的举动，使国家有所寄托。”这番话说得让刘骏也不好再有所表示。
如果说刘骏对宗室打压确实有点过火，沈怀文劝阻也无可厚非，那么在其他一些事上还和刘骏意见不和，就必然会引起刘骏不满。大明五年（公元461年，北魏和平二年），刘骏下诏规定，凡是豪门士族与平民人家通婚的，都要补为武职，这可以看做是刘骏抑制豪门世族的一个手段。但在实际执行过程中，一些与平民通婚的豪门士族，为躲避兵役逃往他处。朝廷为此又进一步严格制定了法律，抓到逃亡者，立即斩首，于是，逃亡者常常是投奔江河山泽之中，当了强盗。沈怀文对此加以劝阻，但刘骏却并未接受。
更为糟糕的是，沈怀文平日和颜竣、周朗关系不错，有一次侍中王彧在言谈之间，称赞颜竣、周朗才华出众，沈怀文也同意这种赞誉。谁知这些话被颜师伯打小报告给了刘骏，刘骏对沈怀文的不满也上了一个新的档次。没过多久两人的关系因为一次打猎再次极度恶化，刘骏外出打猎，结果突然刮起了大风，又下起了大雨，沈怀文和王彧、江智渊趁机约定进言劝谏。
他们见到刘骏后，沈怀文第一个说：“暴风骤雨如此急迫，不是圣体所应该承受的。”王彧接着说：“沈怀文的启奏，应该听。”江智渊刚准备接着说时，只见刘骏已是眼睛盯着弓箭，面带怒色说：“你想仿效颜竣吗？为什么要经常来管别人的事情？”接着，又说：“颜竣这小子，我至今仍恨不得先把他的脸抽个稀烂。”三人顿时不敢再多说。
两人的关系也在继续恶化。刘骏这人还有个坏毛病，每次在宴请时，都下令在座者必须喝得酩酊大醉，然后再对他们极力嘲讽、戏谑。但沈怀文一向不喝酒，而且又不喜欢戏弄玩笑，刘骏于是认为沈怀文是故意和自己作对。为此谢庄曾经警告过沈怀文，说：“你每次都和别人不一样，这样，又怎么能长久下去呢？”沈怀文却说：“我从小就这个样子，哪里是一个早晨就能改变过来的！我并不是要故意和别人不一样，这不过是天性所致罢了。”但刘骏不会这样认为，忍无可忍的他命令沈怀文出任晋安王刘子勋的征虏长史，兼领广陵太守。
虽然被外放了，但沈怀文还是难逃一死。大明六年（公元462年，北魏和平三年），沈怀文到达建康参加朝廷举行的元旦朝拜后，刘骏命令他返回任所。谁知此时沈怀文女儿生病，爱女心切的沈怀文请求延长回去的期限来照顾女儿。这本无可厚非，刘骏也就答应了，谁知沈怀文以此为由不断推迟日期，结果到了三月，他还没有启程。这就让刘骏勃然大怒，下诏免除沈怀文的官职，并禁止其从政十年。
沈怀文见自己被罢官，索性就将自己在京城的房宅卖了，想要东下回到吴兴老家。其实这也没啥大问题，谁知刘骏听说后，怒不可遏，然后借机下令逮捕他收交廷尉，命令沈怀文自杀。柳元景想要救沈怀文，却也没有成功。