在小说中，程咬金是一介莽夫，出身也不是很好，在小说《隋唐演义》中，程咬金的绝学三板斧还是在睡梦中学会的，但因为记忆力不好，需要先说名字，才会想起招式，后人管他的招数叫“三斧子半”，后演变了歇后语“三道板斧——只会几招”。
《说唐全传》小说里，程咬金家中穷的叮当响，老母亲又体弱多病，全家人就靠着程咬金在集市上卖竹筢子维持生计，有一个叫尤俊达的强盗就拉拢程咬金与他一块抢皇纲，隋炀帝的皇纲在押运途中有三次是被程咬金所截，因而就有了“半路杀出个程咬金”。
历史上的程咬金真是出身贫困的莽夫吗？程咬金墓被发掘后，专家发现了一块石头，程咬金家族的秘密重现于世。1986年，考古人员对程咬金墓进行了发掘工作，虽然程咬金的墓已经被盗贼光顾过，但专家还是发现了一块非常有价值的石头。
这块石头就是程咬金的墓志铭，明确记载了程咬金的身世、家族，颠覆了以往人们对程咬金的认知，墓志铭中记载：“曾祖兴，齐兖州司马；祖哲，齐黄州司马”，讲的是程咬金的曾祖在北齐任职兖州司马，而祖父也在北齐任职黄州司马，都属于地方上的中高居官员。
另外，墓志铭上写有“父娄，济州大中正”，程咬金的父亲也担任了不小的官职，由此程咬金是出生在官宦家庭，世代都有做官的，家中自然是不穷的，不过程咬金选了一条和祖辈完全的道路，程咬金家中大多是文官，程咬金却十分喜爱习武，心中想的是带兵打仗。
隋朝末年，天下大乱，程咬金归附西魏名将李弼的曾孙李密，被李密重用，李密还常对人说：“这八千人（程咬金率领的）抵得上百万大军”，李密与西域的胡人王世充失败后，程咬金被俘，后被王世充重用。
但程咬金认为王世充太过狡诈，得知唐军后归附了西魏名将李虎的孙子李渊，李渊让程咬金等人跟随了儿子李世民，李世民早已听闻程咬金的威名，让程咬金当了左三统军，成为了唐朝的开国大将。
公元626年，玄武门之变，程咬金参与其中，程咬金官升迁到右武卫大将军，享受实封七百户，后程咬金一路官升，可见程咬金绝非是一介莽夫，还是一个颇懂为人处事的人物，麟德二年二月七日，77岁高龄的程咬金于自己的私宅中去世，葬于九嵕山之原。