曹操平定荊州之後,他被任命為濟南南郡的官員。當時，戰争剛剛結束,地方上的秩序尤其混亂，特别是一些貴族豪強、經常仗勢欺人，違法亂紀,而地方上的不少官吏都害怕他們的權力，不敢出面治理,百姓都極為憤恨,怨聲載道。
劉節,出身于豪門,後來做了郡裡的主簿,他手下養了一千多個賓客,他們就仰仗着劉節的勢力,經常在官署中擾亂治安,還青天白日生搶百姓财物,而當地官吏都睜一隻眼,閉一隻眼,無人敢管。
他上任不久,正值征兵時節，就指令劉節的門客王同等人去當兵。他的手下人提醒說:“劉節家裡從來沒有人勞役，恐怕他們不會同意去當兵的,到時候他們躲起來,你這裡就會缺額了,對上面不好交特,同時還得罪了他們,不如改派别人去為好。”
他從來不懼權勢,他堅決反對改派别人當兵,還提前寫信警告劉節說:“您是在郡裡任要職的官員,黎民百姓的眼睛都盯着您,您的賓客不服勞役，百姓們早就有怨言了，長官早已了解到這個情況。現在召征王同等人入伍當兵，希望您遵紀守法,準時派遣他們到郡裡集合。”劉節哪裡聽過别人這樣的支配,何況,他根本就沒把司馬芝這個人放在眼裡,是以,他還是将王同等人藏匿起來了。縣裡管征兵工作的掾吏完不戰征兵的人數，隻好請求讓自己頂替王同去服役。
他知到這個消息後,立即寫信給太守郝光。他詳細列舉了劉節的為官的種種罪狀,然後派人騎快馬将信送到濟南。郝光是他的好友,非常信任司馬芝,是以立即決定,由劉節本人頂替王同去服兵役。
老百姓聽說他竟然敢指令郡内無人敢惹的主簿劉節去當兵，都對他稱贊不已,終覺出了—口惡氣,司馬芝的名聲很快傳遍了大街小巷。
這個人就是司馬芝,河内郡溫縣人。他向來足智多謀,善于斷案,且從來都是依法辦事，不學私情。同時他是司馬懿的同族。如果司馬家的人都想他這樣，後面的八王之亂就不可能發生了。
後來，司馬芝調到了廣平縣當縣令，有個叫劉助的征虜将軍，曾和司馬芝同殿稱臣,他覺得自己對朝廷有功勞，就不顧及言行,經常縱容他的賓客和子弟為非作歹。司馬芝上任之後,劉勳的賓客依然不改惡習,甚至越來越甚。
一次,劉勳的手下犯了罪，劉勳就給司馬芝寫信，要求司馬芝看在原來一起共事的情面上，不要追究他手下人的罪過。司馬芝連信都沒有看,将劉購的手下統統都一律給予了相應的懲治。後來劉勳自己也因觸犯刑律被誅殺，那些與劉勳案情有牽連的人，一個都沒有漏網,全都被司馬芝依法判罪。
魏明帝即位後,他十分敬重司馬芝,就封他為關内侯。不久,魏太祖曹操堂弟的奶媽與臨汾公主的侍者一同私下祭祀無澗水神,這在當時屬于被朝廷禁絕的淫祀，司馬芝查清後，将他們一并關入大牢。卞太後知道後急忙要找司馬芝說情,要求他減輕處罰。司馬芝為了不惹這個麻煩，就回避不見。
然而，卞太後依舊步步緊逼,她馬上派了黃門官到官府中傳達她的指令,企圖逼迫司馬芝就範。司馬芝下令,隻要是太後的人求見,就不許通報，同時,他立即指令洛陽監獄的獄吏,以審訊為名，将兩人拷打至死。
事情辦完之後,司馬芝才給明帝奏章說:“按顧正常,凡是判處死刑的人,都應當先上表奏明,等候聖上準許,然後才能施行死刑。而這兩個犯人興妖作怪的罪行,剛剛開始審訊出供詞,太皇太後就命黃門官傳來懿旨。臣不敢接受太皇太後的指令,擔心指令中有袒護罪犯的内容，聖上知道後,會不得已将犯人保護下來。是以，微臣違反了先奏後斬的規定，已将犯人拷打至死,請聖上給臣處罰。”
魏明帝明白司馬芝的真實用意,他不但沒有責怪司馬芝,還對他的行為進行贊賞，他親自批複說:“你為了執行禁止淫祀的法律,是以才權宜行事，這有什麼罪呢?這隻能說明你對聯的忠心，日後黃門官再去你那裡、你一定要小心謹慎,不要輕易接見他們!”
司馬芝為官多年,他從來不謀私利，不徇私情,凡事都秉公處理。後來,他接連做過大司馬、河南尹,成為是魏國曆任河南尹中最傑出的清官。
