本書是模式識別和場景分析領域奠基性的經典著作。在第2版中, 除了保留第1版中關于統(tǒng)計模式識別和結構模式識別的主要內容以外, 還新增了許多新理論和新方法, 其中包括神經網絡、機器學習、數據挖掘、進化計算、不變量理論、隱馬爾可夫模型、統(tǒng)計學習理論和支持向量機等。本書還為模式識別未來的發(fā)展指明了方向。書中包含許多實例, 各種不同方法的對比, 豐富的圖表, 以及大量的課后習題和計算機練習。
本書第1版《模式分類與場景分析》(Pattern Classification and Scene Analysis)于1973年問世,在逾越四分之一世紀以后我們重寫了第2版。寫作的初衷依然不變,即盡可能對模式識別中的各個重要課題,尤其是對基本原理進行系統(tǒng)性介紹。我們相信這會為相當多有待解決的專門問題,諸如語音識別、光學字符識別或信號分類等,提供必需的基礎。本書第1版的許多讀者經常問我們?yōu)槭裁匆选澳J椒诸悺迸c“場景分析”結合在一本書里寫。在當時,我們所能做的回答是,分類理論的確是模式識別學科中最重要的與領域無關的(domainindependent)理論,而場景分析是那個年代僅有的并且重要的應用領域。況且,根據1973年的研究水平,完全有可能把兩個內容集中在一本書中闡述清楚而不顯膚淺。在隨后的這些年中,模式識別的理論和應用領域已經迅速擴展,使得上述觀點再也站不住腳。因為必須要做出選擇,所以我們決定在本版中只介紹分類理論,而把有關應用的課題留給其他專門書籍來解決。自1973年以來,對第1版提出的許多問題開展了大量的研究,并且取得了長足的進步。僅僅是計算機硬件的發(fā)展已經大大超過了學習算法和模式識別的步伐。第1版提出的一些突出問題目前已獲圓滿解決,然而另外一些卻依然讓人灰心。模式識別系統(tǒng)所顯現的重大作用,使該領域的研究方興未艾,并且激動人心。
當我們撰寫本書第1版時,模式識別還只是相當專門的學科,但從其目前豐富的應用領域來看,它已變得十分博大。這些應用包括:筆跡和手勢的識別、唇語技術、地學分析、文件檢索以及氣泡室中的亞原子軌跡判讀。它為大量人機界面問題提供核心算法,比如筆輸入計算。第2版的篇幅正說明了其現有理論的廣博。雖然我們預計本書的絕大多數讀者都對開發(fā)新的模式識別系統(tǒng)感興趣,但也不排除有少部分人專注于深刻理解現有的模式識別系統(tǒng)。這當中最顯著的莫過于人類和動物的神經認知系統(tǒng)。雖然研究模式識別的生物學起源已明顯超出本書的范圍,但是,由于對自然界中的模式識別能力感興趣的神經生物學家和心理學家也越來越多地依賴于先進的數學和理論的幫助,因此這部分專家也必將從本書中獲益。
盡管已有很多優(yōu)秀的書籍集中討論了某一部分技術,我們仍然強烈地感覺需要像本書這樣采取某種不同的討論方法。也就是說,本書并非集中在某些專門技術(如神經網絡)上,相反,我們對一類特定的問題——模式識別——開展研究。本書討論了多種可行的技術。學生和實踐者常常需要知道某種技術是否適用于他們的特定需求或者開發(fā)目標,許多專門研究神經網絡的書籍未必會討論其他的技術(諸如判定樹、最近鄰方法或者其他分類器)以提供比較和選擇不同方案的依據。為了避免出現這種問題,我們將在本書中對比討論各種分類技術,并討論各自的優(yōu)勢和缺點。
所有這些發(fā)展要求改寫本書的第1版,以獲得一個統(tǒng)一的更新的版本。這一版我們不僅豐富了內容,并且在以下幾方面進行了改進。
新的材料書中包含很多最近才發(fā)展起來并被實踐證明有用的模式識別的新技術,比如神經網絡、隨機方法以及有關機器學習理論的問題,等等。雖然本書仍然以統(tǒng)計技術為主,但是為了保持完整性,我們也加進了句法(結構)模式識別的內容,以及許多“經典”的技術,如隱馬爾可夫模型(HMM)、模型選擇機制、組合分類器等。
豐富的例題本書包含許多例題,這些例題通常使用很簡單的數據,避免冗長單調的計算,但是又足夠復雜,使得能夠清楚地解釋關鍵知識點。例題的作用在于增強直觀認識,并幫助學生解答課后習題。
算法列表憑借算法可以最清楚地解釋所講述的模式識別技術。本書提供了很多算法。算法只是相應的完整計算機程序的一個基本骨架。我們假定每位讀者都熟悉算法采用的偽碼形式,或者可以通過上下文來理解
。加星號的節(jié)有些節(jié)加了星號,表明有些專門化,通常是一些補充材料,但它們一般不影響對后續(xù)不帶星號的節(jié)的理解,所以在初次閱讀時可以跳過。
上機練習這些練習并不限制采用哪種計算機語言或系統(tǒng),學生可以根據情況選擇適合自己的語言或系統(tǒng)。
習題增加了一些課后習題,并按提出問題的章節(jié)組織。本書的習題另有答案手冊,可供教師選用。
關于本書教輔資源,只有使用本書作為教材的教師才可以申請,需要的教師可向約翰·威立出版公司北京代表處申請,電話01084187869,電子郵件ayang@wileycom!庉嬜
每章小結每章小結中含有該章中出現的重要概念和知識點。
增強的圖表為了更好地展示概念,我們花了很大的力氣來增強本書中的圖表,以解釋正文中的要點。部分圖表經過了大量精心的計算和細致的參數設置。相關的Adobe Acrobat格式的文件可以登錄http://wwwwileycom/products/subject/engineering/electrical/software supplemelecenghtml獲得。
附錄學生們未必擁有所必需的數學基礎,這一點也不令人奇怪。為此,在書后附錄中補充了必要的數學基礎知識。我們力求通篇使用清晰的表示法來解釋關鍵特性,同時又保持可讀性。附錄中的符號列表能夠幫助那些愿意仔細鉆研預先使用符號的章節(jié)的讀者。
本書包含足以適合兩學期教學的高年級本科或研究生課程的內容,當然要是仔細挑選也適合一學期使用。一學期課程應當包括第1~6章、第9章和第10章(大部分來自第1版的內容,僅僅增加了神經網絡和機器學習),加星號的各節(jié)可講可不講。
由于研究和發(fā)展速度如此之快,每章末尾的文獻和歷史評述就顯得十分有必要,盡管有些簡略。我們的目的是幫助讀者有重點地選擇參考文獻來閱讀,而并不是記錄整個歷史發(fā)展過程和感謝、贊美或表揚某些研究者。參考文獻中有的重要文獻可能未必在正文中提及,讀者可根據標題自行選閱。
如果沒有以下研究機構的幫助,我們是不可能完成本書的。第一個也是最重要的一個當屬理光發(fā)明公司(Ricoh Innovations,DGS & PEH)。在動蕩和嚴酷的工業(yè)競爭環(huán)境中,以及對產品和創(chuàng)新的無休止的需求壓力之下,該公司能夠支持像本書這樣長期和廣泛的教育研究項目,反映出這里有了不起的環(huán)境和氛圍,以及少有的和明智的領導集體。感謝理光發(fā)明公司研究發(fā)展部主任Morio Onoe在我們開始寫作時給予的熱情支持。同樣要感謝在寫作本書時為我們提供臨時住所和幫助的圣何塞加州州立大學,斯坦福大學電氣工程系、統(tǒng)計學和心理學系,加州大學伯克利分校,國際高等科學研究院,尼爾斯·玻爾研究所,圣塔·菲研究所。
非常感謝斯坦福大學的研究生Regis Van Steenkiste、Chuck Lam和Chris Overton在圖形準備方面提供的巨大幫助,Sudeshna Adak在解答習題中的幫助。感謝理光發(fā)明公司的同事Kathrin Berkner、Michael Gormish、Maya Gupta、Jonathan Hull和Greg Wolff的多方面幫助,圖書館工作人員Rowan Fairgrove幫助找到了很多難找的文獻,并確認了許多文獻作者的名字。本書的很多內容來自斯坦福大學和圣何塞加州州立大學的講義,從研究生那里得到的反饋使我們受益匪淺。許多教員和科研同人為本書提供了很好的建議,并糾正了很多疏誤。特別要感謝Leo Breiman、David Cooper、Lawrence Fogel、Gary Ford、Isabelle Guyon、Robert Jacobs、Dennis Kibler、Scott Kirkpatrick、Benny Lautrup、Nick Littlestone、Amir Najmi、Art Owen、Rosalind Picard、J.Ross Quinlan、Cullen Schaffer和David Wolpert,他們對本書進行了評論。各領域的著名專家審閱了本書各章,他們是Alex Pentland(1)、Giovanni Parmigiani(2)、Peter Cheeseman(3)、Godfried Toussaint(4)、Padhraic Smyth(5)、Yann Le Cun(6)、Emile Aarts(7)、Horst Bunke(8)、Tom Dietterich(9)、Anil Jain(10)和Rao Vemuri(附錄),括號中的內容是他們審閱的章。他們富有洞察力的評語對本書多方面的改進都有幫助。不過,我們對仍然存在的錯誤負責。本書編輯George Telecki給了我們很大的鼓勵和支持,而且沒有抱怨我們一拖再拖。他和Wiley公司的其他員工都非常樂于幫助我們,給我們提供了許多專業(yè)支持。最后非常感謝Nancy、Alex和Olivia Stork對我們沉迷寫作的理解和忍耐。
David G. Stork
Richard O. Duda
Peter E. Hart
2000年8月
理查德·O.杜達, 圣何塞州立大學電氣工程系榮休教授, 以其在聲音定位和模式識別方面的工作而聞名。皮特·E.哈特, 加州理光發(fā)明公司創(chuàng)始人、總裁。大衛(wèi)·G.斯托克, 加州理光發(fā)明公司首席科學家, 斯坦福大學電氣工程與計算機科學系客座教授。