事實工作中，應當怎么做和教科書講的結論相抵牾，這時候要怎么辦呢？莫非教科書中的結論出錯了？
若是盼望認識機械進修，或曾經決議投身機械進修，您會第一時間找到種種課本開展充電，與此同時正在心中默許：書里講的是牛人大神的一生聰慧，是精確無誤的行動指南，認真進修就可以取得快速提拔。但實際情況是，您極可能曾經正在走彎路。
高新科技生長很快，數據正在指數級增加，環境還正在指數級轉變，是以良多時分教科書會跟不上時期的生長。有時，即便是寫教科書的人，還不見得皆明確結論背后的“所以然”，是以有些結論就會降后于時期。針對這個題目，第四范式創始人、首席執行官戴文淵克日就正在公司內部分享上，向大師引見了機械進修課本中的七個典范題目。戴文淵是ACM天下冠軍（2000年），“遷徙進修”環球領軍人物，正在遷徙進修范疇單篇論文援用數至今仍排名天下第三。曾任百度鳳巢計謀的技能負責人、華為諾亞方舟實驗室主任科學家。
本文按照演講實錄收拾整頓，略有刪減。
有時我們會發覺，正在事實工作中，該當怎么做和教科書講的結論相沖突，這時候要怎么辦呢？豈非教科書中的結論出錯了？事實上，有時的確如斯。所以本日我就想和大師分享一下機械進修課本中的一些典范題目，盼望對大師往后的工作和進修有所匡助。
題目一：神經網絡不適宜超越3層
這是最著名錯誤判斷，而今的教科書幾近曾經不再有如許的結論，但若是看15年、20年前的機械進修教科書，會有一個很風趣的結論：神經網絡不能跨越三層。這和我們而今說的深度進修是沖突的，深度進修而今大師比拼的是不是神經網絡能不能跨越三層，反而是能不能做出一百層、一千層或更多。
那為何之前的教科書上會寫神經網絡沒有能凌駕三層，這就要從神經網絡的汗青提及。五十年代有位科學家叫Marvin Minksy，他是一名生物學家，數學又很好，所以他正在研討神經元的時分就正在想能沒有能用數學模型往描繪生物的神經元，是以就設計了感知機。感知機就像一個神經細胞，它能像神經細胞一樣連起來，構成神經網絡，就像大腦的神經網絡。其實正在60年代最先的時分，是有很深的神經網絡，但那時顛末大批實驗發覺，沒有凌駕三層的神經網絡結果沒有錯，因而可能到80年代時就得出結論：神經網絡沒有宜凌駕三層。
那為何而今這條結論又被推翻了呢？事實上這條結論是有前提條件的，即在數據量沒有大的情況下，神經網絡沒有宜跨越三層。而由2000年入手下手，人人發覺伴隨著數據增長，深度神經網絡的施展闡發優秀，所以漸漸地走向深度進修。實際這里真正精確的道理是Valiant引理，它能夠理解為“模子龐雜度（比方專家系統的規矩數目）要和數據量成正比”。數據量越大，模子就越龐雜。上個世紀由于數據量小，所以神經網絡的層數沒有能太深，而今數據量大，所以神經網絡的層數就要做深。這也詮釋了為何其時教科書會有那樣的結論，而而今伴隨著深度進修的盛行，人人曾經沒有再見以為這句話是對的。
題目兩：決策樹不能超過五層
假如有同硯看教科書上先容決策樹，會有一個說法便是決策樹要減枝，決策樹假如沒有減枝結果沒有好。另有教科書會報告決策樹沒有能跨越五層，跨越五層的決策樹結果沒有好。這個結論和神經網絡結論一樣，神經網絡沒有能跨越三層還是由于事先數據量沒有大，決策樹沒有能跨越五層還是由于上個世紀數據量沒有夠大，兩叉樹決策樹假如深度是N的話，復雜度大概是2的N次方，所以沒有跨越五層復雜度還便是三十多。假如數據量到達一百萬的時辰，決策樹能到達十幾兩十層的范圍，假如數據量到了一百億的時辰決策樹還許要到三十幾層。
目前，我們夸大更深的決策樹，這大概和教科書講的相沖突。沖突的原因是目前全部場景下數據量增大，所以要做更深的決策樹。自然，我們還不一定在所有的場景里都有很大數據量，若是逢到了數據量小的場景，我們還要曉得決策樹是要做淺的。最基礎而言，便是看有幾多數據，能寫出多龐大的模子。
題目三：特點挑選不能超過一千個
有些教科書會零丁開個章節來說特性挑選，告知我們正在拿到數據后，要先刪除一些不重要的特性，乃至有的教科書說明，特性數不能超過一千，不然模子結果欠好。但實際這個結論也是有前提條件的，若是數據量少，是不能夠充裕支持良多特性，但若是數據量大，結論就會不一樣。這也便是為何我們干LogisticRegression會有幾十億個特性，而不全是限定正在幾百個特性。
曩昔傳統數據剖析軟件，如SAS，之所以只有幾百個特點，是由于它誕生于上世紀七十年代，它面對的問題是正在詳細場景下沒有太多可以用數據，大概只有幾百上千個樣本。是以，正在設計體系時，就只需求針對幾百個特點設計，不需求幾十億個特點，由于上千個樣本沒法支持幾十億特點。但現正在，伴隨著數據量提升，特點量還需求提升。所以我以為，正在大數據環境下，全部機械進修教科書里關于特點挑選的章節曾經降后于時期，需求按照新的情勢從新撰寫；當然正在小數據場景下，它仍舊具有價值。
題目四：集成進修取得最好進修效果
第四個叫干集成進修，這個手藝正在各類數據發掘角逐中稀奇有效，好比近年KDD CUP的冠軍幾近皆是采納集成進修。什么是集成進修？它沒有是干一個模子，反而是干許多（比方一千個）沒有一樣的模子，讓每一個模子投票，投票的成果便是終究的成果。假如沒有思索資源限定情形，這類形式是成果最好的。這也是為何KDDCUP選手們皆挑選集成進修的方法，為了尋求末了成果，沒有正在乎投入幾，正在這類條件下，集成進修便是最好的方法。
但正在實際中，企業干機械進修尋求的這不是用無限的資源干盡量好的結果，反而是若何充分利用有限資源，取得最好結果。假定企業只有兩臺機械，若何用這兩臺機械取得最好的結果呢？假如采取集成進修，用兩臺機械跑五個模子，就要把兩臺機械分紅五份，每一個模子只會用0.4臺機械往跑，因而跑的數據量就有限。那假如換種方法，不消集成進修，就用一個模子往跑，就能跑5倍的數據。一般5倍的數據量能比集成進修有更好的結果。正在工業界比較少會使用集成進修，重要是由于工業界絕大多數的場景全是資源受限，資源受限時最好的方法是想辦法放進往更多的數據。集成進修由于跑更多的模子招致只會放更少的數據，一般這類結果都市變差。
題目五：正樣本和背樣本平衡采樣到1：1
第五個叫干平衡采樣，絕大多數的教科書都邑講到。它是指若是我們練習一個模子，正樣本和背樣本很不均勻，比如正在正樣本和背樣本1：100的情況下，就要對正、背樣本干平衡采樣，把它釀成1：1的比例，如許才是最好的。但實在這個結論不一定對，由于統計進修里最基礎的一條道理便是練習場景和測試場景的分布要一樣，所以這個結論只正在一個場景下建立，那是利用模子的場景中正、背樣本是1:1，那這個結論便是對的。
準確的干法是，運用場景是1：100，那練習薈萃最好還是1：100。平衡采樣沒有一定皆是對的，大皆情形下沒有采樣反而才是準確的。由于大大皆時分，我們直接把練習薈萃和測試薈萃干隨機拆分，大概依照時候拆分，兩者的分布便是同等的，那個時分沒有采樣是最好的。自然有時分，我們還會發覺干背樣本采樣會有更好的結果，好比范式正在為某股份制銀行卡中央干生意業務反狡詐時，就干了背樣本采樣，那就是由于當我們把一切樣本皆放進去后，發覺測算資源沒有夠，所以只能干采樣。正樣本取背樣本大概是1：1000大概1：10000，若是對正樣本干采樣，損失信息量會比較大，所以我們挑選對背樣本采樣，好比干1：1000的采樣，再把背樣本以1000的加權加回去。正在資源受限時這么干，會盡還許低落信息量的損失。但若是僅僅是為了把它干平衡而干背樣本采樣，通常是沒有對的。和前面幾個問題沒有同，背樣本采樣并沒有是因環境改動而結論變革，事實上就沒有應該干背樣本采樣。
題目六：穿插考證是最好的測試要領
下一個題目叫干穿插考證，是指假定要將一份數據拆分紅練習集和測試集，這個時辰如何評價出它的偏差？穿插考證是把薈萃拆成五份，與四份干練習集、一份干測試集，而且每一次挑選分歧的那一份干測試級，最終測出五個后果再干均勻，這被認為是最好的測試要領。
穿插考證確實是一個還不錯的考證的要領，但正在實際利用場景下，它常常是不是最好的一種體式格局。由于平常來講，我們用機械進修干的事情是展望，絕大多數情況下我們是用此刻或已往的數據干一個模子來展望將來。而拿已往的鍛煉展望將來的最好測試要領是不是穿插考證，由于穿插考證是依照買賣或按人拆分的。最好的是要領其實是依照時候拆分，例如評價的時候選取一個時候點，用正在這個時候點之前的數據干鍛煉，展望正在這個時候點以后的，這是最接近實在利用場景的評價成果。
穿插考證大概只適用于和時候屬性不相關的場景，比方人臉辨認，但我們面對更多的使用場景，無論是風險、營銷或反狡詐，全是在用過往的數據練習后展望將來，最好那樣場景的評價方式并不是穿插考證，反而是依照時候往拆分。
題目七：過擬合必然欠好
末了一個叫過擬合，這也是一個計議稀奇多的話題。從前，平常我們會說假如模子干的太龐雜了就會過擬合，如PPT右側所示，而最好的體式格局應該是圖中中央的狀況——擬合的剛剛好，圖中右邊的模子underfitting，沒有練習完整。但現正在來看，大多的現實場景全是正在拿已往展望將來，過擬合紛歧定是欠好的，照舊要看詳細場景。假如這個場景是已往見過的狀況比較多，新的狀況比較少的時辰，過擬合反倒是好的。
打個例如，假如期末考試題便是平常的功課，那我們把平常的功課皆背一遍便是最好的體例，而這便是過擬合。假如期末考試不考平常功課，滿是新題，那末這個時間就不能只背平常的功課，還要充實明白這門課的常識，控制若何推明白題的技能。所以過擬合黑白與否，完整取決于場景。假如運用場景依托死記硬背就可以搞定，那過擬合反倒是好的。事實上正在我們的設計內里，良多時間我們會傾向于往過擬合靠一點，可能做新題會差一點，然則關于死記硬背的送分題會做的很好。正在拿過去展望將來的運用場景下，有的時間過擬合不一定欠好，要根據實際情況來看。
本日取人人分享了教科書中的一些典范題目。其實在事實工業利用中，我們不容易完整依照教科書中的方法往實踐。我們還會設計很深的模子、很深的決策樹、良多的特性、會過擬合一點，我們更夸大按工夫拆分，不夸大平衡采樣。應對教科書中的結論，我們需求學會的是依據事實場景做出相應靈敏分辨。