在檢測到人臉并定位面部關鍵特征點之后，主要的人臉區域就可以被裁剪出來，經過預處理之后，饋入后端的識別算法。識別算法要完成人臉特征的提取，并與庫存的已知人臉進行比對，完成最終的分類。
背景
傳統的個人身份驗證手段如口令、證件、IC 卡等方式，由于與身份人的可分離性，致 使偽造、盜用、破譯等現象時有發生，已經不能滿足現代社會經濟活動和社會安全防范的需要。生物特征識別包括指紋、掌紋、語音、人臉、虹膜、步態、掌靜脈等。生物特征識別技術先投入廣泛應用的是指紋、掌紋掃描識別技術，但是卻常常因為受到皮膚紋理及干燥程度等條件制約出現誤判，引發不必要的麻煩，已遠遠不能滿足人們的需求。隨著科學技術的不斷發展，以及社會對于身份識別越來越高的要求，生物特征識別技術逐漸呈多樣化發展，例如虹膜識別、聲音識別、筆跡識別、簽名識別、人臉識別等各項生物特征識別技術。
作為模式識別和圖像處理領域成功的應用之一，人臉識別在過去 20 年里一直都是研究熱點。相比之下，人臉識別的普遍性、可采集性與被采集者的可接受性較高，這就具有 了方便友好、易于接受、不易偽造等一系列優點。機器自動人臉識別研究開始于 1966 年 PRI 的 Bledsoe 的工作。1990 年日本研制的人像識別機，可在 1s 內中從 3 500 人中識別到 你要找的人。1993 年，美國國防部高級研究項目署(Advanced Research Projects Agency)和 美國陸軍研究實驗室(Army Research Laboratory)成立了 Feret(Face RecognitionTechnology) 項目組，建立了 Feret 人臉數據庫，用于評價人臉識別算法的性能。2007 年，上海市質量 技術監督局公布了城市軌道交通和旅館商務辦公樓兩項安全防范系統地方標準，為 2010 年 上海世博會應用人臉識別技術提供技術規范。2008 年人臉識別應用于奧運會的安防。人臉 識別技術已經開始走入普通生活。國內外人臉識別技術還在進一步發展和完善之中，市場機會處于起步階段，可廣泛應用于安全、考勤、網絡安全、銀行、海關邊檢、物業管理、 智能身份證、門禁、計算機登錄系統、國家安全、公共安全、軍事安全等領域。
簡介
人臉識別(Facial Recognition)，就是通過視頻采集設備獲取用戶的面部圖像，再利用核心的算法對其臉部的五官位置、臉型和角度進行計算分析，進而和自身數據庫里已有的范本進行比對，后判斷出用戶的真實身份。人臉識別技術基于局部特征區域的單訓練樣本人臉識別方法。第一步，需要對局部區域進行定義;第二步，人臉局部區域特征的提取，依據經過樣本訓練后得到的變換矩陣將人臉圖像向量映射為人臉特征向量;第三步，局部特征選擇(可選);后一步是進行分類。分類器多采用組合分類器的形式，每個局部特征 對應一個分類器，后可用投票或線性加權等方式得到終識別結果。 人臉識別綜合運用了數字圖像/視頻處理、模式識別、計算機視覺等多種技術，核心技 術是人臉識別算法。目前人臉識別的算法有 4 種:基于人臉特征點的識別算法、基于整幅 人臉圖像的識別算法、基于模板的識別算法、利用神經網絡進行識別的算法。
作為人臉識別的第一步，人臉檢測所進行的工作是將人臉從圖像背景中檢測出來，由于受圖像背景、亮度變化以及人的頭部姿勢等因素影響使人臉檢測成為一項復雜研究內容。檢測定位:檢測是判別一幅圖像中是否存在人臉，定位則是給出人臉在圖像中的位置。定位后得到的臉部圖像信息是測量空間的模式，要進行識別工作，首先要將測量空間中的數據映射到特征空間中。采用主分量分析方法，原理是將一高維向量，通過一個特殊的特征向量矩陣，投影到一個低維的向量空間中，表征為一個低維向量，并且僅僅損失一些次要信息。通過對經過檢測和定位過的人臉圖像進行特征提取操作可以達到降低圖像維數，從而可以減小識別計算量，提高識別精度的作用。人臉識別系統采用基于特征臉的主 成分分析法(PCA)，根據一組人臉訓練樣本構造主元子空間，檢測時，將測試圖像投影到 主元空間上，得到一組投影系數，再和各已知的人臉圖像模式比較，從而得到檢測結果。
原理
人臉識別算法的原理:系統輸入一般是一張或者一系列含有未確定身份的人臉圖像，以及人臉數據庫中的若干已知身份的人臉圖象或者相應的編碼，而其輸出則是一系列相似度得分，表明待識別的人臉的身份。
分類
人臉識別法主要集中在二維圖像方面，二維人臉識別主要利用分布在人臉上從低到高80個節點或標點，通過測量眼睛、顴骨、下巴等之間的間距來進行身份認證。人臉識別算法主要有:
1.基于模板匹配的方法:模板分為二維模板和三維模板，核心思想:利用人的臉部特征規律建立一個立體可調的模型框架,在定位出人的臉部位置后用模型框架定位和調整人的臉部特征部位,解決人臉識別過程中的觀察角度、遮擋和表情變化等因素影響。
2.基于奇異值特征方法:人臉圖像矩陣的奇異值特征反映了圖像的本質屬性，可以利用它來進行分類識別。
3.子空間分析法:因其具有描述性強、計算代價小、易實現及可分性好等特點，被廣泛地應用于人臉特征提取，成為了當前人臉識別的主流方法之一。
4.局部保持投影(Locality Preserving Projections，LPP)是一種新的子空間分析方法，它是非線性方法Laplacian Eigen map的線性近似，既解決了PCA等傳統線性方法難以保持原始數據非線性流形的缺點，又解決了非線性方法難以獲得新樣本點低維投影的缺點。
5.主成分分析(PCA)
PCA模式識別領域一種重要的方法，已被廣泛地應用于人臉識別算法中，基于PCA人臉識別系統在應用中面臨著一個重要障礙:增量學習問題。增量PCA算法由新增樣本重構最為重要 PCS，但該方法隨著樣本的增加， 需要不斷舍棄一些不重要PC，以維持子空間維數不變， 因而該方法精度稍差。
6.其他方法:彈性匹配方法、特征臉法(基于KL變換)、人工神經網絡法、支持向量機法、基于積分圖像特征法(adaboost學習)、基于概率模型法。
二維人臉識別方法的最大不足是在面臨姿態、光照條件不同、表情變化以及臉部化妝等方面較為脆弱，識別的準確度受到很大限制，而這些都是人臉在自然狀態下會隨時表現出來的。三維人臉識別可以極大的提高識別精度，真正的三維人臉識別是利用深度圖像進行研究，自90年代初期開始，已經有了一定的進展。三維人臉識別方法有:
1.基于圖像特征的方法:采取了從3D結構中分離出姿態的算法。首先匹配人臉整體的尺寸輪廓和三維空間方向;然后，在保持姿態固定的情況下，去作臉部不同特征點(這些特征點是人工的鑒別出來)的局部匹配。
2.基于模型可變參數的方法:使用將通用人臉模型的3D變形和基于距離映射的矩陣迭代最小相結合，去恢復頭部姿態和3D人臉。隨著模型形變的關聯關系的改變不斷更新姿態參數，重復此過程直到最小化尺度達到要求。基于模型可變參數的方法與基于圖像特征的方法的最大區別在于:后者在人臉姿態每變化一次后，需要重新搜索特征點的坐標，而前者只需調整3D變形模型的參數。
難點
人臉識別算法研究已久，在背景簡單的情形下，大部分算法都能很好的處理。但是，人臉識別的應用范圍頗廣，僅是簡單圖像測試，是遠遠不能滿足現實需求的。所以人臉識別算法還是存在很多的難點。
光照
光照問題是機器視覺中的老問題，在人臉識別中的表現尤為明顯，算法未能達到完美使用的程度。
姿態
與光照問題類似，姿態問題也是人臉識別研究中需要解決的一個技術難點。針對姿態的研究相對比較少，多數的人臉識別算法主要是針對正面，或接近正面的人臉圖像，當發生俯仰或者左右側而比較厲害的情況下，人臉識別算法的識別率也將會急劇下降。
遮擋
對于非配合情況下的人臉圖像采集，遮擋問題是一個非常嚴重的問題，特別是在監控環境下，往往被監控對象都會帶著眼鏡﹑帽子等飾物，使得被采集出來的人臉圖像有可能不完整，從而影響了后面的特征提取與識別，甚至會導致人臉識別算法的失效。
年齡變化
隨著年齡的變化，面部外觀也在變化，特別是對于青少年，這種變化更加的明顯。對于不同的年齡段，人臉識別算法的識別率也不同。
圖像質量
人臉圖像的來源可能多種多樣，由于采集設備的不同，得到的人臉圖像質量也不同，特別是對于那些低分辨率﹑噪聲大﹑質量差的人臉圖像如何進行有效的人臉識別是個需要關注的問題。同樣的，對于高分辨圖像，對人臉識別算法的影響也需要進一步研究。
樣本缺乏
基于統計學習的人臉識別算法是人臉識別領域中的主流算法，但是統計學習方法需要大量的培訓。由于人臉圖像在高維空間中的分布是一個不規則的流行分布，能得到的樣本只是對人臉圖像空間中的一個極小部分的采樣，如何解決小樣本下的統計學習問題有待進一步的研究。
海量數據
傳統人臉識別算法如PCA、LDA等在小規模數據中可以很容易進行訓練學習。但是對于海量數據，這些方法其訓練過程難以進行，甚至有可能崩潰。
大規模人臉識別
隨著人臉數據庫規模的增長，人臉算法的性能將呈現下降。
應用領域
監控布控
實時實現多路攝像機對數十萬布控對象的現場識別和報警提示，廣泛用于機場、火車站、銀行等場所，實現對特定人群的布控。
公安照片搜索系統
公安系統面臨的一個難題是無法充分利用手頭上現成的(身份證、暫住證等)數以百萬計的照片資源，在查案過程中拿到一張照片卻無法有效的定位其身份，人工的逐張進行照片對比幾乎是不可能完成的工作，只能花費大量的警力和時間進行排查。采用人臉識別算法實現快速人臉檢索查找，充分體現科技強警的威力。
門禁出入
人臉識別算法的另一主流應用方向，其優勢在于非接觸操作而且直觀方便便于事后查驗。
身份識別
應用有考場考生身份識別系統，公安局罪犯積分系統等。
發展趨勢
二維與三維人臉識別相結合，多種模式的識別使用，可以有效地提高人臉識別精確度;二維識別算法逐步應用于三維人臉識別;人臉識別算法要能克服:姿勢、表情的變化，佩戴眼睛、珠寶和其它一些因素及光線等因素影響;識別算法應該需要更少的計算量。