從廣南國王阮福映借助法國人勢力建立阮朝之後，越南統治者就一直在夾縫裡求生存，阮福映本人就跟子孫交代過，對待法國人，既要有感恩之情，又不可無防人之心。其子明命帝阮福晈主要展現的是後者，通過他反對天主教的措施來看，對法國人的感激之情實在“罕見”。法國人由此也惱羞成怒，逐漸加緊了在印支半島的擴張步伐。
太平天國運動期間，劉永福加入了天地會，算是太平天國運動的外圍組織，在兩廣地區有效地配合了太平天國運動，劉永福也在鬥争中成長為一個小頭目。
太平天國運動被撲滅之後，這些南方會黨組織也四散而去，1865年，劉永福率領所部黑旗軍從廣西退入越南境内，為了規避清軍打擊，在勢力較薄弱的越南北部紮下腳跟，與各方勢力鬥争。
此時的劉永福，在越南政府心目中哪裡有什麼好印象，越北地區山頭林立，劉永福部也算是一股割據的外邦兵匪，阮氏王朝恨不能全把他們消滅幹淨，隻是苦于兵力不濟，隻好采取分而化之的政策，挑動群衆鬥群衆。
法國勢力也逐漸深入越北地區，清政府看出了法國人的用意，為了杜絕法國人繼續北上，不讓附屬國阮朝全部依附法國，也打起了劉永福部的主意，跟着阮朝學習，把越北的中國割據武裝能招安就招安，并給了劉永福正式身份。
坐擁越北陣地，并擁有雙重官府身份的劉永福開始發威，陸續在抵抗法國人的紙橋等戰役中大放異彩，赢得了雙重上司的尊重。
在中法戰争中，清軍派出援越遠征軍，與劉永福部和越南軍隊并肩抗戰，互有勝負，劉永福也打過幾次勝仗，但裝備太差是黑旗軍的軟肋，是以死傷慘重。
饒是如此，相比越軍的孱弱，黑旗軍還是打出了風範，劉永福也被主持越北前線軍務的主官、娶了明命帝阮福晈六十四個女兒之一的驸馬爺、北圻督統黃佐炎公開評價為：北圻長城！
明面上雖然這麼說，其實黃佐炎與劉永福私下關系卻勢同水火，黃佐炎對劉永福立的軍功，多半隐匿不報，而劉永福也幹脆不聽黃佐炎的排程指揮，互相拆台。
對于越南群眾來說，本身也分化嚴重，有的跟随鹹宜帝阮福明和尊室說搞勤王運動，有的給法國人當越奸帶路黨，對前者說來，劉永福的黑旗軍當然是可以聯合利用的對象、引狼驅虎的工具，對于後者說來，劉永福的黑旗軍那自然是腐敗清政府萬惡舊勢力的典型代表，是一種邪惡擾民的黑暗勢力存在。