一、背景資料集

本次用的資料集是opencv給出的教程裡面的第一個資料集：The AT&T Facedatabase，又稱為ORL人臉資料庫，40個人，每人10張照片。照片在不同時間、不同光照、不同表情(睜眼閉眼、笑或者不笑)、不同人臉細節(戴眼鏡或者不戴眼鏡)下采集。所有的圖像都在一個黑暗均勻的背景下采集的，正面豎直人臉(有些有輕微旋轉)。

二、自己的人臉資料集

想要識别自己，單有别人的資料集還是不行的，還需要自己人臉的照片才行。這就需要我們收集自己的照片，然後和上面的那個資料集一起來訓練模型。

Qt開發學習基地（免費報名學習）：C/C++項目實戰/Qt5/C語言/c++/資料庫/OpenCV/MFC/QT項目-學習視訊教程-騰訊課堂

2.1、人臉資料采集

下列程式調用openCV來拍照，按下P鍵拍照，按下Esc退出。

/** 拍照程式 **/

#include "mainwindow.h"
#include <QApplication>
#include <QDebug>
#include <opencv2/opencv.hpp>
using namespace cv;
int main(int argc, char *argv[])
{
QApplication a(argc, argv);
namedWindow("photo",WINDOW_AUTOSIZE);
VideoCapture cap(0);
if(cap.isOpened())
qDebug()<<"打開攝像頭成功！";
else
qDebug()<<"打開攝像頭失敗！";
Mat frame;
int i=1;
while (1)
{
char key = waitKey(100);
cap >> frame;
imshow("photo", frame);
QString filename = QString("D:/Qt/Project/OpenCV/ORL_92x112/s41/s41_%1.bmp").arg(i);
switch (key)
{
case 'p':
imwrite(filename.toStdString(), frame);
waitKey(500);
i++;
break;
default:
break;
}
int c = waitKey(0);
if ((char)c == 27)
return 0；
}
return a.exec();
}

注意變換角度，變換表情，拍完之後，精選十張帥照，用于自己的人臉資料集

2.2、預處理

在得到自己的人臉照片之後，還需要對這些照片進行一些預處理才能拿去訓練模型。所謂預處理，其實就是檢測并分割出人臉，并改變人臉圖檔的大小，需與下載下傳的資料集中圖檔大小（92 x 112）一緻。使用下列程式可以自動檢測人臉、分割人臉、調整大小和存儲。

注意：調用opencv訓練好的分類器和自帶的檢測函數檢測人臉，需要将OpenCV源代碼中分類器事先放到自己自己的工程目錄中去；

分類器位置：D:\Qt\opencv-3.4.5\opencv-3.4.5\data\haarcascades\haarcascade_frontalface_default.xml 移動到：自己工程的build目錄下（必須這個目錄）

#include <QApplication>
#include <QDebug>
#include <opencv2/opencv.hpp>
using namespace cv;
int main(int argc, char *argv[])
{
QApplication a(argc, argv);
QString face_cascade_name = "haarcascade_frontalface_default.xml";
CascadeClassifier face_cascade; //定義人臉分類器
QString window_name = "Capture - Face detection";
namedWindow(window_name.toStdString(),WINDOW_AUTOSIZE);
//-- 1. Load the cascades
if (!face_cascade.load(face_cascade_name.toStdString()))
{
qDebug()<<"--(!)Error loading face cascade";
return -1;
}
for(int i=1; i<=10; i++)
{
Mat img = imread(QString("D:/Qt/Project/OpenCV/ORL_92x112/s41/sources/s41_%1.bmp").arg(i).toStdString());
std::vector<Rect> faces;
Mat img_gray;
cvtColor(img, img_gray, COLOR_BGR2GRAY);
equalizeHist(img_gray, img_gray);
//-- Detect faces
face_cascade.detectMultiScale(img_gray, faces, 1.1, 3, CV_HAAR_DO_ROUGH_SEARCH, Size(50, 50));
for (size_t j = 0; j < faces.size(); j++)
{
Mat faceROI = img_gray(faces[j]);
Mat MyFace;
if (faceROI.cols > 100)
{
resize(faceROI, MyFace, Size(92, 112));
QString str = QString("D:/Qt/Project/OpenCV/ORL_92x112/s41/s41_%1.bmp").arg(i);
imwrite(str.toStdString(), MyFace);
imshow(window_name.toStdString(), MyFace);
}
waitKey(10);
}
}
int c = waitKey(0);
if ((char)c == 27)
return 0;
return a.exec();
}

至此，我們就得到和ORL人臉資料庫人臉大小一緻的自己的人臉資料集。然後我們把自己的作為第41個人，在我們下載下傳的人臉檔案夾下建立一個s41的子檔案夾，把自己的人臉資料放進去。就成了這樣下面這樣，最後一個檔案夾裡面是我自己的頭像照片：

三、csv檔案生成

當我們寫人臉模型的訓練程式的時候，我們需要讀取人臉和人臉對應的标簽。直接在資料庫中讀取顯然是低效的，是以我們用csv檔案讀取。csv檔案中包含兩方面的内容：一是每一張圖檔的位置所在；二是每一個人臉對應的标簽，就是為每一個人編号。如下圖示：

這個工作可以自己純手動去完成，但是400多張圖檔，也是很費時間的，珍惜生命，走下面這條路吧！

打開指令行，切換到人臉資料集目錄下，輸入如下指令：

dir /b/s *bmp > at.txt

這個at.txt就是我們需要的csv檔案，但是現在是隻有路徑沒有标簽的。使用下列程式，會生成一個at_temp.txt，這個既有路徑又有标簽，正是我們想要的，将之前的at.txt删除，将生成at_temp.txt改名為at.txt。

#include <QApplication>
#include <QDebug>
#include <QFile>
int main(int argc, char *argv[])
{
QApplication a(argc, argv);
QString fileName1 = "D:/Qt/Project/OpenCV/ORL_92x112/at.txt";
QString fileName2 = "D:/Qt/Project/OpenCV/ORL_92x112/at_temp.txt";
QFile file1(fileName1);
QFile file2(fileName2);
file1.open(QIODevice::ReadOnly | QIODevice::Text);
file2.open(QIODevice::WriteOnly | QIODevice::Text);
int i=0;
int count = 0;
while (!file1.atEnd())
{
count++;
QTextStream stream(&file2);
QByteArray line = file1.readLine();
QString str(line);
str.replace('\\','/');
str.replace('\n',';');
stream << str<<QString("%1").arg(i)<<"\n";
if(count%10 == 0)
{
i++;
count=0;
}
}
file1.close();
file2.close();
qDebug()<<"Done!!!";
return a.exec();
}

四、模型訓練

#include <QApplication>
#include <opencv2\opencv.hpp>
#include <iostream>
#include <opencv2/face.hpp>
#include <QDebug>
using namespace cv;
using namespace std;
using namespace face;
//使用CSV檔案去讀圖像和标簽，主要使用stringstream和getline方法
static void read_csv(const string& filename, vector<Mat>& images, vector<int>& labels, char separator = ';') {
std::ifstream file(filename.c_str(), ifstream::in);
if (!file)
{
string error_message = "No valid input file was given, please check the given filename.";
CV_Error(CV_StsBadArg, error_message);
}
string line, path, classlabel;
while (getline(file, line))
{
stringstream liness(line);
getline(liness, path, separator);
getline(liness, classlabel);
if (!path.empty() && !classlabel.empty())
{
images.push_back(imread(path, 0));
labels.push_back(atoi(classlabel.c_str()));
}
}
}
int main(int argc, char *argv[])
{
QApplication a(argc, argv);
//讀取你的CSV檔案路徑.
string fn_csv = "D:/Qt/Project/OpenCV/ORL_92x112/at.txt";
// 2個容器來存放圖像資料和對應的标簽
vector<Mat> images;
vector<int> labels;
// 讀取資料. 如果檔案不合法就會出錯
// 輸入的檔案名已經有了.
try
{
read_csv(fn_csv, images, labels);
}
catch (cv::Exception& e)
{
cerr << "Error opening file \"" << fn_csv << "\". Reason: " << e.msg << endl;
// 檔案有問題，我們啥也做不了了，退出了
exit(1);
}
// 如果沒有讀取到足夠圖檔，也退出.
if (images.size() <= 1)
{
string error_message = "This demo needs at least 2 images to work. Please add more images to your data set!";
CV_Error(CV_StsError, error_message);
}
// 下面的幾行代碼僅僅是從你的資料集中移除最後一張圖檔
//[gm:自然這裡需要根據自己的需要修改，他這裡簡化了很多問題]
Mat testSample = images[images.size() - 1];
int testLabel = labels[labels.size() - 1];
images.pop_back();
labels.pop_back();
// 下面幾行建立了一個特征臉模型用于人臉識别，
// 通過CSV檔案讀取的圖像和标簽訓練它。
// T這裡是一個完整的PCA變換
//如果你隻想保留10個主成分，使用如下代碼
// cv::createEigenFaceRecognizer(10);
//
// 如果你還希望使用置信度門檻值來初始化，使用以下語句：
// cv::createEigenFaceRecognizer(10, 123.0);
//
// 如果你使用所有特征并且使用一個門檻值，使用以下語句：
// cv::createEigenFaceRecognizer(0, 123.0);
Ptr<FaceRecognizer> model = EigenFaceRecognizer::create();
model->train(images, labels);
model->save("MyFacePCAModel.xml");
Ptr<FaceRecognizer> model1 = FisherFaceRecognizer::create();
model1->train(images, labels);
model1->save("MyFaceFisherModel.xml");
Ptr<FaceRecognizer> model2 = LBPHFaceRecognizer::create();
model2->train(images, labels);
model2->save("MyFaceLBPHModel.xml");
// 下面對測試圖像進行預測，predictedLabel是預測标簽結果
int predictedLabel = model->predict(testSample);
int predictedLabel1 = model1->predict(testSample);
int predictedLabel2 = model2->predict(testSample);
QString result_message = QString("Predicted class = %1 | Actual class = %2").arg(predictedLabel).arg(testLabel);
QString result_message1 = QString("Predicted class = %1 | Actual class = %2").arg(predictedLabel1).arg(testLabel);
QString result_message2 = QString("Predicted class = %1 | Actual class = %2").arg(predictedLabel2).arg(testLabel);
qDebug() << result_message << endl;
qDebug() << result_message1 << endl;
qDebug() << result_message2 << endl;
waitKey(0);
return a.exec();
}

上述程式從人臉資料集中取了最後一張照片用于測試訓練的模型。人臉資料集總共40+1個人，但是标簽是從0開始的，是以最後的人臉标簽是40，從上述程式運作結果可以看出，實際是40，預測也是40，說明模型訓練成功，三個訓練好的模型如下圖：

五、人臉識别

#include <QApplication>
#include <opencv2\opencv.hpp>
#include <iostream>
#include <opencv2/face.hpp>
#include <QDebug>
using namespace cv;
using namespace std;
using namespace face;
int main(int argc, char *argv[])
{
QApplication a(argc, argv);
VideoCapture cap(0); //打開預設攝像頭
if (!cap.isOpened())
{
return -1;
}
Mat frame;
Mat edges;
Mat gray;
CascadeClassifier cascade;
bool stop = false;
//訓練好的檔案名稱，放置在可執行檔案同目錄下
cascade.load("D:/Qt/opencv-3.4.5/opencv-3.4.5/data/haarcascades/haarcascade_frontalface_default.xml");
//Ptr<FaceRecognizer> modelPCA = createEigenFaceRecognizer();
//modelPCA->load("MyFacePCAModel.xml");
Ptr<FaceRecognizer> modelPCA = EigenFaceRecognizer::create();
modelPCA->read("D:/Qt/Project/build-OpenCV-Desktop_Qt_5_13_2_MinGW_64_bit-Debug/MyFacePCAModel.xml");//訓練的模型
while(!stop)
{
cap >> frame;
//建立用于存放人臉的向量容器
vector<Rect> faces(0);
cvtColor(frame, gray, CV_BGR2GRAY);
//改變圖像大小，使用雙線性內插補點
//resize(gray, smallImg, smallImg.size(), 0, 0, INTER_LINEAR);
//變換後的圖像進行直方圖均值化處理
equalizeHist(gray, gray);
cascade.detectMultiScale(gray, faces,
1.1, 2, 0
//|CV_HAAR_FIND_BIGGEST_OBJECT
//|CV_HAAR_DO_ROUGH_SEARCH
| CV_HAAR_SCALE_IMAGE,
Size(30, 30));
Mat face;
Point text_lb;
for (size_t i = 0; i < faces.size(); i++)
{
if (faces[i].height > 0 && faces[i].width > 0)
{
face = gray(faces[i]);
text_lb = Point(faces[i].x, faces[i].y);
rectangle(frame, faces[i], Scalar(255, 0, 0), 1, 8, 0);
}
}
Mat face_test;
int predictPCA = 0;
if (face.rows >= 120)
{
resize(face, face_test, Size(92, 112));
imshow("縮放",face_test);
}
//Mat face_test_gray;
//cvtColor(face_test, face_test_gray, CV_BGR2GRAY);
if (!face_test.empty())
{
//測試圖像應該是灰階圖
predictPCA = modelPCA->predict(face_test);
}
cout << predictPCA << endl;
if (predictPCA == 40)
{
string name = "WangJiChuan";
putText(frame, name, text_lb, FONT_HERSHEY_COMPLEX, 1, Scalar(255, 0, 0));
}
imshow("face", frame);
if (waitKey(1) >= 0)
stop = true;
}
return a.exec();
}

從上圖可知，自己的人臉标簽是35，當識别的人臉為35時，識别成功為自己，标記人臉，貼上名字。

【領QT開發教程學習資料，點選下方連結莬費領取↓↓，先碼住不迷路~】

點選這裡：「連結」

OpenCV--人臉識别入門

一、背景資料集

二、自己的人臉資料集

三、csv檔案生成

四、模型訓練

五、人臉識别

繼續閱讀

讀者來稿 | 有效遮擋檢測的魯棒人臉識别

基于BP神經網絡人臉識别

[基于tensorflow的人臉檢測] 基于神經網絡的人臉檢測8——驗證訓練好的神經網絡

基于TensorFlow訓練的人臉識别神經網絡訓練一個神經網絡能讓她認得我運作環境擷取本人圖檔集擷取其他人臉圖檔集訓練模型使用模型進行識别

[基于tensorflow的人臉檢測] 基于神經網絡的人臉檢測2——FDDB資料集處理

[基于tensorflow的人臉檢測] 基于神經網絡的人臉檢測9——人臉檢測

實戰 | Python人臉識别簽到考勤系統（附代碼）

離線識别率高達99%的Python人臉識别系統，開源~

了解交叉熵損失函數

【原創】人這輩子的高度就看這十年

Python3+OpenCV+TensorFlow進行人臉識别前言

2023年最新5款手機推薦：第1款蘋果iPhone14ProMax：蘋果iPhone14ProMax預計将于2023年發

機器學習20：基于ResNet50和FaceNet實作人臉識别

pytorch-＞onnx-＞ncnn模型移植

min_faces_per_person=60 is too restrictive解決辦法（人臉識别資料lfw_funneled）

PLDA簡介