凸優化特性
『壹』 稀疏表示中什麼叫凸和非凸是什麼意思
數學來中最優化問題的源一般表述是求取,使,其中是n維向量,是的可行域,是上的實值函數。
凸優化問題是指是閉合的凸集且是上的凸函數的最優化問題,這兩個條件任一不滿足則該問題即為非凸的最優化問題。
其中,是 凸集是指對集合中的任意兩點,有,即任意兩點的連線段都在集合內,直觀上就是集合不會像下圖那樣有「凹下去」的部分。至於閉合的凸集,則涉及到閉集的定義,而閉集的定義又基於開集,比較抽象,不贅述,這里可以簡單地認為閉合的凸集是指包含有所有邊界點的凸集。
實際建模中判斷一個最優化問題是不是凸優化問題一般看以下幾點:
目標函數如果不是凸函數,則不是凸優化問題
決策變數中包含離散變數(0-1變數或整數變數),則不是凸優化問題
約束條件寫成時,如果不是凸函數,則不是凸優化問題
之所以要區分凸優化問題和非凸的問題原因在於凸優化問題中局部最優解同時也是全局最優解,這個特性使凸優化問題在一定意義上更易於解決,而一般的非凸最優化問題相比之下更難解決。
非凸優化問題如何轉化為凸優化問題的方法:
1)修改目標函數,使之轉化為凸函數
2)拋棄一些約束條件,使新的可行域為凸集並且包含原可行域
『貳』 人臉識別的發展歷史是怎樣的
人臉識別是一個被廣泛研究著的熱門問題,大量的研究論文層出不窮,在一定程度上有泛濫成「災」之嫌。為了更好地對人臉識別研究的歷史和現狀進行介紹,本文將AFR的研究歷史按照研究內容、技術方法等方面的特點大體劃分為三個時間階段,如表1所示。該表格概括了人臉識別研究的發展簡史及其每個歷史階段代表性的研究工作及其技術特點。下面對三個階段的研究進展情況作簡單介紹:
第一階段(1964年~1990年)
這一階段人臉識別通常只是作為一個一般性的模式識別問題來研究,所採用的主要技術方案是基於人臉幾何結構特徵(Geometricfeature based)的方法。這集中體現在人們對於剪影(Profile)的研究上,人們對面部剪影曲線的結構特徵提取與分析方面進行了大量研究。人工神經網路也一度曾經被研究人員用於人臉識別問題中。較早從事AFR研究的研究人員除了布萊索(Bledsoe)外還有戈登斯泰因(Goldstein)、哈蒙(Harmon)以及金出武雄(Kanade Takeo)等。金出武雄於1973年在京都大學完成了第一篇AFR方面的博士論文,直到現在,作為卡內基-梅隆大學(CMU)機器人研究院的一名教授,仍然是人臉識別領域的活躍人物之一。他所在的研究組也是人臉識別領域的一支重要力量。總體而言,這一階段是人臉識別研究的初級階段,非常重要的成果不是很多,也基本沒有獲得實際應用。
第二階段(1991年~1997年)
這一階段盡管時間相對短暫,但卻是人臉識別研究的高潮期,可謂碩果累累:不但誕生了若干代表性的人臉識別演算法,美國軍方還組織了著名的FERET人臉識別演算法測試,並出現了若干商業化運作的人臉識別系統,比如最為著名的Visionics(現為Identix)的FaceIt系統。
美國麻省理工學院(MIT)媒體實驗室的特克(Turk)和潘特蘭德(Pentland)提出的「特徵臉」方法無疑是這一時期內最負盛名的人臉識別方法。其後的很多人臉識別技術都或多或少與特徵臉有關系,現在特徵臉已經與歸一化的協相關量(NormalizedCorrelation)方法一道成為人臉識別的性能測試基準演算法。
這一時期的另一個重要工作是麻省理工學院人工智慧實驗室的布魯內里(Brunelli)和波基奧(Poggio)於1992年左右做的一個對比實驗,他們對比了基於結構特徵的方法與基於模板匹配的方法的識別性能,並給出了一個比較確定的結論:模板匹配的方法優於基於特徵的方法。這一導向性的結論與特徵臉共同作用,基本中止了純粹的基於結構特徵的人臉識別方法研究,並在很大程度上促進了基於表觀(Appearance-based)的線性子空間建模和基於統計模式識別技術的人臉識別方法的發展,使其逐漸成為主流的人臉識別技術。
貝爾胡米爾(Belhumeur)等提出的Fisherface人臉識別方法是這一時期的另一重要成果。該方法首先採用主成分分析(PrincipalComponent Analysis,PCA,亦即特徵臉)對圖像表觀特徵進行降維。在此基礎上,採用線性判別分析(LinearDiscriminant Analysis, LDA)的方法變換降維後的主成分以期獲得「盡量大的類間散度和盡量小的類內散度」。該方法目前仍然是主流的人臉識別方法之一,產生了很多不同的變種,比如零空間法、子空間判別模型、增強判別模型、直接的LDA判別方法以及近期的一些基於核學習的改進策略。
麻省理工學院的馬哈丹(Moghaddam)則在特徵臉的基礎上,提出了基於雙子空間進行貝葉斯概率估計的人臉識別方法。該方法通過「作差法」,將兩幅人臉圖像對的相似度計算問題轉換為一個兩類(類內差和類間差)分類問題,類內差和類間差數據都要首先通過主成分分析(PCA)技術進行降維,計算兩個類別的類條件概率密度,最後通過貝葉斯決策(最大似然或者最大後驗概率)的方法來進行人臉識別。
人臉識別中的另一種重要方法——彈性圖匹配技術(Elastic GraphMatching,EGM) 也是在這一階段提出的。其基本思想是用一個屬性圖來描述人臉:屬性圖的頂點代表面部關鍵特徵點,其屬性為相應特徵點處的多解析度、多方向局部特徵——Gabor變換[12]特徵,稱為Jet;邊的屬性則為不同特徵點之間的幾何關系。對任意輸入人臉圖像,彈性圖匹配通過一種優化搜索策略來定位預先定義的若乾麵部關鍵特徵點,同時提取它們的Jet特徵,得到輸入圖像的屬性圖。最後通過計算其與已知人臉屬性圖的相似度來完成識別過程。該方法的優點是既保留了面部的全局結構特徵,也對人臉的關鍵局部特徵進行了建模。近來還出現了一些對該方法的擴展。
局部特徵分析技術是由洛克菲勒大學(RockefellerUniversity)的艾提克(Atick)等人提出的。LFA在本質上是一種基於統計的低維對象描述方法,與只能提取全局特徵而且不能保留局部拓撲結構的PCA相比,LFA在全局PCA描述的基礎上提取的特徵是局部的,並能夠同時保留全局拓撲信息,從而具有更佳的描述和判別能力。LFA技術已商業化為著名的FaceIt系統,因此後期沒有發表新的學術進展。
由美國國防部反毒品技術發展計劃辦公室資助的FERET項目無疑是該階段內的一個至關重要的事件。FERET項目的目標是要開發能夠為安全、情報和執法部門使用的AFR技術。該項目包括三部分內容:資助若干項人臉識別研究、創建FERET人臉圖像資料庫、組織FERET人臉識別性能評測。該項目分別於1994年,1995年和1996年組織了3次人臉識別評測,幾種最知名的人臉識別演算法都參加了測試,極大地促進了這些演算法的改進和實用化。該測試的另一個重要貢獻是給出了人臉識別的進一步發展方向:光照、姿態等非理想採集條件下的人臉識別問題逐漸成為熱點的研究方向。
柔性模型(Flexible Models)——包括主動形狀模型(ASM)和主動表觀模型(AAM)是這一時期內在人臉建模方面的一個重要貢獻。ASM/AAM將人臉描述為2D形狀和紋理兩個分離的部分,分別用統計的方法進行建模(PCA),然後再進一步通過PCA將二者融合起來對人臉進行統計建模。柔性模型具有良好的人臉合成能力,可以採用基於合成的圖像分析技術來對人臉圖像進行特徵提取與建模。柔性模型目前已被廣泛用於人臉特徵對准(FaceAlignment)和識別中,並出現了很多的改進模型。
總體而言,這一階段的人臉識別技術發展非常迅速,所提出的演算法在較理想圖像採集條件、對象配合、中小規模正面人臉資料庫上達到了非常好的性能,也因此出現了若干知名的人臉識別商業公司。從技術方案上看, 2D人臉圖像線性子空間判別分析、統計表觀模型、統計模式識別方法是這一階段內的主流技術。
第三階段(1998年~現在)
FERET』96人臉識別演算法評估表明:主流的人臉識別技術對光照、姿態等由於非理想採集條件或者對象不配合造成的變化魯棒性比較差。因此,光照、姿態問題逐漸成為研究熱點。與此同時,人臉識別的商業系統進一步發展。為此,美國軍方在FERET測試的基礎上分別於2000年和2002年組織了兩次商業系統評測。
基奧蓋蒂斯(Georghiades)等人提出的基於光照錐 (Illumination Cones) 模型的多姿態、多光照條件人臉識別方法是這一時期的重要成果之一,他們證明了一個重要結論:同一人臉在同一視角、不同光照條件下的所有圖像在圖像空間中形成一個凸錐——即光照錐。為了能夠從少量未知光照條件的人臉圖像中計算光照錐,他們還對傳統的光度立體視覺方法進行了擴展,能夠在朗博模型、凸表面和遠點光源假設條件下,根據未知光照條件的7幅同一視點圖像恢復物體的3D形狀和表面點的表面反射系數(傳統光度立體視覺能夠根據給定的3幅已知光照條件的圖像恢復物體表面的法向量方向),從而可以容易地合成該視角下任意光照條件的圖像,完成光照錐的計算。識別則通過計算輸入圖像到每個光照錐的距離來完成。
以支持向量機為代表的統計學習理論也在這一時期內被應用到了人臉識別與確認中來。支持向量機是一個兩類分類器,而人臉識別則是一個多類問題。通常有三種策略解決這個問題,即:類內差/類間差法、一對多法(one-to-rest)和一對一法(one-to-one)。
布蘭茲(Blanz)和維特(Vetter)等提出的基於3D變形(3D Morphable Model)模型的多姿態、多光照條件人臉圖像分析與識別方法是這一階段內一項開創性的工作。該方法在本質上屬於基於合成的分析技術,其主要貢獻在於它在3D形狀和紋理統計變形模型(類似於2D時候的AAM)的基礎上,同時還採用圖形學模擬的方法對圖像採集過程的透視投影和光照模型參數進行建模,從而可以使得人臉形狀和紋理等人臉內部屬性與攝像機配置、光照情況等外部參數完全分開,更加有利於人臉圖像的分析與識別。Blanz的實驗表明,該方法在CMU-PIE(多姿態、光照和表情)人臉庫和FERET多姿態人臉庫上都達到了相當高的識別率,證明了該方法的有效性。
2001年的國際計算機視覺大會(ICCV)上,康柏研究院的研究員維奧拉(Viola)和瓊斯(Jones)展示了他們的一個基於簡單矩形特徵和AdaBoost的實時人臉檢測系統,在CIF格式上檢測准正面人臉的速度達到了每秒15幀以上。該方法的主要貢獻包括:1)用可以快速計算的簡單矩形特徵作為人臉圖像特徵;2)基於AdaBoost將大量弱分類器進行組合形成強分類器的學習方法;3)採用了級聯(Cascade)技術提高檢測速度。目前,基於這種人臉/非人臉學習的策略已經能夠實現准實時的多姿態人臉檢測與跟蹤。這為後端的人臉識別提供了良好的基礎。
沙蘇哈(Shashua)等於2001年提出了一種基於商圖像[13]的人臉圖像識別與繪制技術。該技術是一種基於特定對象類圖像集合學習的繪制技術,能夠根據訓練集合中的少量不同光照的圖像,合成任意輸入人臉圖像在各種光照條件下的合成圖像。基於此,沙蘇哈等還給出了對各種光照條件不變的人臉簽名(Signature)圖像的定義,可以用於光照不變的人臉識別,實驗表明了其有效性。
巴斯里(Basri)和雅各布(Jacobs)則利用球面諧波(Spherical Harmonics)表示光照、用卷積過程描述朗博反射的方法解析地證明了一個重要的結論:由任意遠點光源獲得的所有朗博反射函數的集合形成一個線性子空間。這意味著一個凸的朗博表面物體在各種光照條件下的圖像集合可以用一個低維的線性子空間來近似。這不僅與先前的光照統計建模方法的經驗實驗結果相吻合,更進一步從理論上促進了線性子空間對象識別方法的發展。而且,這使得用凸優化方法來強制光照函數非負成為可能,為光照問題的解決提供了重要思路。
FERET項目之後,涌現了若幹人臉識別商業系統。美國國防部有關部門進一步組織了針對人臉識別商業系統的評測FRVT,至今已經舉辦了兩次:FRVT2000和FRVT2002。這兩次測試一方面對知名的人臉識別系統進行了性能比較,例如FRVT2002測試就表明Cognitec, Identix和Eyematic三個商業產品遙遙領先於其他系統,而它們之間的差別不大。另一方面則全面總結了人臉識別技術發展的現狀:較理想條件下(正面簽證照),針對37437人121,589 幅圖像的人臉識別(Identification)最高首選識別率為73%,人臉驗證(Verification)的等錯誤率(EER[14])大約為6%。FRVT測試的另一個重要貢獻是還進一步指出了目前的人臉識別演算法亟待解決的若干問題。例如,FRVT2002測試就表明:目前的人臉識別商業系統的性能仍然對於室內外光照變化、姿態、時間跨度等變化條件非常敏感,大規模人臉庫上的有效識別問題也很嚴重,這些問題都仍然需要進一步的努力。
總體而言,目前非理想成像條件下(尤其是光照和姿態)、對象不配合、大規模人臉資料庫上的人臉識別問題逐漸成為研究的熱點問題。而非線性建模方法、統計學習理論、基於Boosting[15]的學習技術、基於3D模型的人臉建模與識別方法等逐漸成為備受重視的技術發展趨勢。
總而言之, 人臉識別是一項既有科學研究價值,又有廣泛應用前景的研究課題。國際上大量研究人員幾十年的研究取得了豐碩的研究成果,自動人臉識別技術已經在某些限定條件下得到了成功應用。這些成果更加深了我們對於自動人臉識別這個問題的理解,尤其是對其挑戰性的認識。盡管在海量人臉數據比對速度甚至精度方面,現有的自動人臉識別系統可能已經超過了人類,但對於復雜變化條件下的一般人臉識別問題,自動人臉識別系統的魯棒性和准確度還遠不及人類。這種差距產生的本質原因現在還不得而知,畢竟我們對於人類自身的視覺系統的認識還十分膚淺。但從模式識別和計算機視覺等學科的角度判斷,這既可能意味著我們尚未找到對面部信息進行合理采樣的有效感測器(考慮單目攝像機與人類雙眼系統的差別),更可能意味著我們採用了不合適的人臉建模方法(人臉的內部表示問題),還有可能意味著我們並沒有認識到自動人臉識別技術所能夠達到的極限精度。但無論如何,賦予計算設備與人類似的人臉識別能力是眾多該領域研究人員的夢想。相信隨著研究的繼續深入,我們的認識應該能夠更加准確地逼近這些問題的正確答案。
『叄』 梨形身材的特點
梨型身材特點為肩窄、屁股大、臀寬、大腿根部豐腴。人體脂肪關鍵堆積在屁股及大腿根部,上身長不胖下身胖,狀似梨型。因為女性臀部更寬、同個子大腿根部更粗;因而,梨型身材在女士中普遍現象,在男士中較為少見;這與女士人體脂肪和肌肉更趨向遍布於下肢相關。
不管男人女人,大轉子間寬都超過盆骨寬,並且女士電機轉子下人體脂肪推積歸屬於一切正常的生理現象。學術研究上也不會有「假胯寬」一詞。因而,「假胯寬」是偽定義。
space
什麼叫蘋果型身材
梨型身材的產生與雌性激素很多代謝相關,流露明顯的母性感迷人;梨型身材有利於預防肝癌,更易長命。
有著梨型身材的女士比蘋果型身型、矩形框身型、倒三角身材的女士更受男士熱烈歡迎,這與腰臀比的生態學優點相關。因為時尚潮流的影響,大家(尤其是女性)對女士的梨型身材造成了一定的成見。
男士若是展現這類身型,則不利健身運動,且欠缺藝術美。
space
什麼叫蘋果型身材
大腿圍
(1)依照一些觀測者的見解,女士的腿相對而言是長細的。
其實不是,事實上,我們唯一能毫無疑問的是,從青春年少早期剛開始,歐美國家女人大腿根部的相對性規格和肯定規格就顯著超過小伙。依據奎特萊特對比利時人的精確測量,女生14歲時,大腿根部的較大 直徑的絕對值超過男孩兒,12歲時,相對值超過男孩兒;美國女孩15歲時,大腿根部絕對值均值比同年齡男孩兒大2寸。薩金特挑選了400名20歲的小伙和400名20歲的女人(各層面適度),他發覺,女人的大腿根部直徑比小伙大1.25寸。
女士大腿根部和屁股的比較發達必定是因為很多人體脂肪堆積的結果,它得以主要表現女士的特點。因而能夠 把它稱作(事實上也是)真實的第二性徵,換句話說,女人的人體脂肪關鍵聚集在大腿根部和屁股。在青春年少早期之後,女人大腿根部和屁股人體脂肪稍顯豐富多彩是一切正常的,屁股及相鄰區比較發達而上半身削瘦的梨型身材女人並不少見。
space
什麼叫蘋果型身材
(2)個子大腿圍指數值=(大腿圍/個子)牙周100,大腿根部長脂肪率指數值=(大腿圍/大腿根部長)牙周100;這兩項指數值女士均超過男士,差別明顯。換句話說,同個子女士大腿根部更粗;女士腿相對性短粗,男士相對性長細。
『肆』 神經網路 的四個基本屬性是什麼
神經網路 的四個基本屬性:
(1)非線性:非線性是自然界的普遍特徵。腦智能是一種非線性現象。人工神經元處於兩種不同的激活或抑制狀態,它們在數學上是非線性的。由閾值神經元組成的網路具有更好的性能,可以提高網路的容錯性和存儲容量。
(2)無限制性:神經網路通常由多個連接廣泛的神經元組成。一個系統的整體行為不僅取決於單個神經元的特性,而且還取決於單元之間的相互作用和互連。通過單元之間的大量連接來模擬大腦的非限制性。聯想記憶是一個典型的無限制的例子。
(3)非常定性:人工神經網路具有自適應、自組織和自學習的能力。神經網路處理的信息不僅會發生變化,而且非線性動態系統本身也在發生變化。迭代過程通常用來描述動態系統的演化。
(4)非凸性:在一定條件下,系統的演化方向取決於特定的狀態函數。例如,能量函數的極值對應於系統的相對穩定狀態。非凸性是指函數具有多個極值,系統具有多個穩定平衡態,從而導致系統演化的多樣性。
(4)凸優化特性擴展閱讀:
神經網路的特點優點:
人工神經網路的特點和優越性,主要表現在三個方面:
第一,具有自學習功能。例如實現圖像識別時,只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路,網路就會通過自學習功能,慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、市場預測、效益預測,其應用前途是很遠大的。
第二,具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。
第三,具有高速尋找優化解的能力。尋找一個復雜問題的優化解,往往需要很大的計算量,利用一個針對某問題而設計的反饋型人工神經網路,發揮計算機的高速運算能力,可能很快找到優化解。
『伍』 Hessian 矩陣的特徵值有什麼含義
設
a
是n階方陣,如果存在數m和非零n維列向量
x,使得
ax=mx
成立,則稱
m
是a的一個特徵值(characteristic
value)或本徵值(eigenvalue)。非零n維列向量x稱為矩陣a的屬於(對應於)特徵值m的特徵向量或本徵向量,簡稱a的特徵向量或a的本徵向量。
hessian矩陣的特徵值就是形容其在該點附近特徵向量方向的凹凸性,特徵值越大,凸性越強。你可以把函數想想成一個小山坡,陡的那面是特徵值大的方向,平緩的是特徵值小的方向。而凸性和優化方法的收斂速度有關,比如梯度下降。如果正定hessian矩陣的特徵值都差不多,那麼梯度下降的收斂速度越快,反之如果其特徵值相差很大,那麼收斂速度越慢。
『陸』 局部哈達瑪矩陣能實現對信號的壓縮嗎
針對現有測量矩陣的優缺點,採用具有良好相關性、隨機獨立性及快速計算的局部隨機化哈達瑪矩陣作為測量矩陣,同時針對標准正交匹配追蹤演算法在測量過程中受擾或在稀疏信號情況下難以穩定精確重構問題,提出了一種基於局部隨機化哈達瑪矩陣的正交多匹配追蹤演算法。該演算法利用局部隨機化哈達瑪矩陣的結構特性,能夠快速精確重構原信號。模擬結果表明,測量過程中存在雜訊或無噪,無論處理一維信號還是二維圖像信號時,該演算法性能均超過同類其他貪婪演算法和凸優化基匹配法
『柒』 哪些控制類的演算法驚艷了你
經典控制設復計方法,都是針對單制輸入單輸出系統的頻域設計方法簡單的系統,用根軌跡法,分析控制參數變化對系統性能的影響。復雜的系統,用波特圖法,去看相頻裕度和幅頻裕度的大小,以及帶寬。現代控制系統設計方法,是針對多輸入多輸出的系統建立在狀態方程之上的,這方面研究的不多,不敢妄加評論。由於PID應用的太廣,所以形成了自己獨特的整定方法PID就是針對單輸入單輸出系統的,站在頻域角度去設計的,有一些經典的參數整定方法,比如ZN等,還有好多好多,為啥應用這么廣,因為簡單實用。
『捌』 傳統優化演算法和現代優化演算法包括哪些.區別是什麼
1. 傳統優化演算法一般是針對結構化的問題,有較為明確的問題和條件描述,如線性規劃,二次規劃,整數規劃,混合規劃,帶約束和不帶約束條件等,即有清晰的結構信息;而智能優化演算法一般針對的是較為普適的問題描述,普遍比較缺乏結構信息。
2. 傳統優化演算法不少都屬於凸優化范疇,有唯一明確的全局最優點;而智能優化演算法針對的絕大多數是多極值問題,如何防止陷入局部最優而盡可能找到全局最優是點贊智能優化演算法的根本原因:對於單極值問題,傳統演算法大部分時候已足夠好,而智能演算法沒有任何優勢;對多極值問題,智能優化演算法通過其有效設計可以在跳出局部最優和收斂到一個點之間有個較好的平衡,從而實現找到全局最優點,但有的時候局部最優也是可接受的,所以傳統演算法也有很大應用空間和針對特殊結構的改進可能。
3. 傳統優化演算法一般是確定性演算法,有固定的結構和參數,計算復雜度和收斂性可做理論分析;智能優化演算法大多屬於啟發性演算法,能定性分析卻難定量證明,且大多數演算法基於隨機特性,其收斂性一般是概率意義上的,實際性能不可控,往往收斂速度也比較慢,計算復雜度較高。