对于司马懿的评价，无论是史学家还是民间，一直都是争论不休，更多的人说司马懿背信弃义，是一个彻头彻尾的野心家，奸臣贼子。
在唐朝修订的《晋书》中，有唐太宗李世民对司马懿的评价：
“夫征讨之策，岂东智而西愚？辅佐之心，何前忠而后乱？
意思是，司马懿的用兵策略，有两个极端，在辽东、上庸时干净利落，在和诸葛亮对阵时就突然变得拖地带水。从政过程中，前半程显得忠心耿耿，后半程显得目无君上，犯上作乱，实属乱臣嘴子。
当代作家柏杨认为，司马懿收到后世的诟骂与诅咒，并不公平，理由是，曹爽伐蜀时，大军被围困在峡谷，即使曹爽排挤司马懿，司马懿仍然劝告曹爽退军，加入司马懿真的图谋不轨，完全可以闭口不言，等曹爽覆灭后，司马懿再出来收拾残局，根本不需要发动政变。
虽然对司马懿的评价不一，但是用作恶多端、心狠手辣狠辣、经常高举屠刀来形容他，似乎一点都不过分。
《晋书》记载，司马懿入襄平城（即今之辽宁辽阳）后，高举屠刀，“男子年十五已上七千余人皆杀之，以为京观。伪公卿已下皆伏诛，戮其将军毕盛等二千余人。”
李世民为《晋书·宣帝纪》作史论时，提到“
积善三年，知之者少，为恶一日，闻于天下。”
并用这句话，引用司马懿的作恶多端来告诫后人。
那么，早年间一直温文儒雅的司马懿，为什么说也是一个作恶多端、经常高举屠刀的恶人呢？
一、不准投降，屠城，虐待士兵
公元237年，辽东太守公孙渊反叛，自立为燕王。238年曹叡令司马懿点兵四万出征，司马懿三战三捷，238年8月，公孙渊派相国王建和刘甫与司马懿谈判关于投降的事，王建和刘甫为了表示诚意，把自己捆起来见司马懿，没想到司马懿说不许投降，直接把王建和刘甫杀了。
《晋书》：“不许，执建等，皆斩之。”
司马懿把王建和刘甫杀了之后，把二人的人头连同一封信送给公孙渊，说你区区反贼，居然让两个老东西来见我，还大言不惭的让我退回老家，你们毫无诚意，毫无礼貌，我再给你们一个机会，让年轻且脑子灵光的人来和我谈。
公孙渊丝毫不敢怠慢，赶紧派卫演去请降，为了表示诚心实意地投降，还派他的儿子去司马懿帐下作人质。没想到司马懿见到卫演时说到，打仗无非5个结果，能打的时候就打，万一打不过就守，守不住了就逃跑，除此之外要么投降，要么死，居然公孙渊不肯出面投降，那就死吧。
“军事大要有五，能战当战，不能战当守，不能守当走，余二事唯有降与死耳。汝不肯面缚，此为决就死也，不须送任“。
司马懿进入襄平城后，举起屠刀，杀了公孙渊下属两千多人，城中但凡15岁以上的男性，全部杀死。
《晋书》：“男子年十五已上七千余人皆杀之，以为京观。伪公卿已下皆伏诛，戮其将军毕盛等二千余人。”
司马懿进入襄平城后，缴获了大量的物资，由于出征的将士大多衣衫单薄。便有人请求司马懿把缴获的衣物发个将士御寒，司马懿骂道，这些衣物是国家财产，我无权发给你们。
“襦者官物，人臣无私施也。”
二、高平陵政变后，曹爽阵营被灭三族
公元249年正月，司马懿利用曹爽兄弟陪着魏帝曹芳到洛阳城南九十里的高平陵（魏明帝陵墓）去祭祀的机会发动政变。
在曹芳还在曹爽手中的时候，司马懿发誓说，司马懿只是奉诏罢免曹爽，只要曹爽答应交出权力，爵位、生活待遇都不会变，更不会杀了曹爽。没想到曹爽投降后，司马懿不但把曹爽兄弟和他的部下何晏、邓飏、丁谧、毕轨、李胜、桓范等全部被以大逆不道的罪名杀了，还灭了这些人的三族，连出嫁在外的女子都不放过。
《晋书》：“诛曹爽之际，支党皆夷及三族，男女无少长，姑姊妹女子之适人者皆杀之……”
也就怪不得说他，是个作恶多端，时时高举屠刀的屠夫了！