侯霸字君房，年轻时非常好学，成帝时期做了太子舍人。后来王莽篡权，五威司命陈崇荐举侯霸做了县宰。这时候盗贼四起，天下非常混乱。侯霸为了安定百姓，刚到任就诛杀了当地豪绅以及奸猾之人，并四处抓捕山贼。在侯霸的治理下，当地治安环境得到了极大的改善，俨然成为了战乱之中的一方净土。
后来，侯霸升迁为执法刺奸，专门检举揭发有权势的人，没有因对方权势大而有所胆怯。随着侯霸功绩的增加，他再次迁升为淮平大尹。在任职淮平大尹期间，侯霸又显示了治理郡县的才能，深得百姓爱戴。
后来，侯霸的仕途随着王莽的失败而止步。为了避祸，侯霸留在郡县之中，更加专注于治理临淮这一亩三分地。
后来，更始帝迁都长安，派遣使者过来征召侯霸。当地百姓一听侯霸要被更始帝召走，纷纷自发组织起来挽留他。百姓们有的相携号哭，有的直接躺在使者车轮前拦截，都说：“愿乞留侯君再任一年！”除此之外，百姓们还互相告诫年轻妇女不要生孩子，说是侯霸一走，将来孩子在这乱世中多半也长命不了。
初来乍到的使者哪见过这种场面，当时就吓得连玺书都没敢拿出来。回到京城后，使者将情况写成奏状报了上去。然而，使者刚回到朝廷没多久，更始政权就被赤眉军给灭了，征召侯霸的事情也就不了了之了。
建武四年（28年），光武帝征召侯霸与其在寿春汇合，拜他为尚书令。光武帝把侯霸叫来的用意也简单，那就是朝廷各种规矩以及制度需要有人来制定，毕竟光武帝麾下武将居多，文臣太少，能懂得前朝制度的人更少，因此才把侯霸找了过来。
侯霸不负所望，他开始学习西汉时期的事务，收集以前的文字典籍，终于将相关的制度都整理了出来。后来，光武帝按照侯霸整理的规矩行事，朝廷这才变得正规起来。后来，侯霸代伏湛为大司徒，封关内侯。
建武十三年(37年)，侯霸去世，光武帝亲自过来吊唁，深感伤痛和惋惜。这个时候，侯霸仅仅还是个关内侯，没来得及封为列侯。因此，光武帝下诏追封谥侯霸为则乡哀侯，食邑二千六百户。临淮官吏民众共同为其立祠，四时祭祀。