从广南国王阮福映借助法国人势力建立阮朝之后，越南统治者就一直在夹缝里求生存，阮福映本人就跟子孙交代过，对待法国人，既要有感恩之情，又不可无防人之心。其子明命帝阮福晈主要体现的是后者，通过他反对天主教的措施来看，对法国人的感激之情实在“罕见”。法国人由此也恼羞成怒，逐步加紧了在印支半岛的扩张步伐。
太平天国运动期间，刘永福加入了天地会，算是太平天国运动的外围组织，在两广地区有效地配合了太平天国运动，刘永福也在斗争中成长为一个小头目。
太平天国运动被扑灭之后，这些南方会党组织也四散而去，1865年，刘永福率领所部黑旗军从广西退入越南境内，为了规避清军打击，在势力较薄弱的越南北部扎下脚跟，与各方势力斗争。
此时的刘永福，在越南政府心目中哪里有什么好印象，越北地区山头林立，刘永福部也算是一股割据的外邦兵匪，阮氏王朝恨不能全把他们消灭干净，只是苦于兵力不济，只好采取分而化之的政策，挑动群众斗群众。
法国势力也逐渐深入越北地区，清政府看出了法国人的用意，为了杜绝法国人继续北上，不让附属国阮朝全部依附法国，也打起了刘永福部的主意，跟着阮朝学习，把越北的中国割据武装能招安就招安，并给了刘永福正式身份。
坐拥越北阵地，并拥有双重官府身份的刘永福开始发威，陆续在抵抗法国人的纸桥等战役中大放异彩，赢得了双重上司的尊重。
在中法战争中，清军派出援越远征军，与刘永福部和越南军队并肩抗战，互有胜负，刘永福也打过几次胜仗，但装备太差是黑旗军的软肋，因此死伤惨重。
饶是如此，相比越军的孱弱，黑旗军还是打出了风范，刘永福也被主持越北前线军务的主官、娶了明命帝阮福晈六十四个女儿之一的驸马爷、北圻督统黄佐炎公开评价为：北圻长城！
明面上虽然这么说，其实黄佐炎与刘永福私下关系却势同水火，黄佐炎对刘永福立的军功，多半隐匿不报，而刘永福也干脆不听黄佐炎的调度指挥，互相拆台。
对于越南民众来说，本身也分化严重，有的跟随咸宜帝阮福明和尊室说搞勤王运动，有的给法国人当越奸带路党，对前者说来，刘永福的黑旗军当然是可以联合利用的对象、引狼驱虎的工具，对于后者说来，刘永福的黑旗军那自然是腐败清政府万恶旧势力的典型代表，是一种邪恶扰民的黑暗势力存在。