機器入門學習方法與學習路徑

　　也許你和這個叫“機器學習”的傢伙一點也不熟，但是你舉起iphone手機拍照的時候，早已習慣它幫你框出人臉;也自然而然點開今日頭條推給你的新聞;想了解更多機器學習方法與學習路徑的資訊嗎，和小編一起看看吧!

　　機器學習方法與學習路徑

　　1、數學基礎

　　有無數激情滿滿大步向前，誓要在機器學習領域有一番作為的同學，在看到公式的一刻突然就覺得自己狗帶了。是啊，機器學習之所以相對於其他開發工作，更有門檻的根本原因就是數學。每一個演算法，要在訓練集上最大程度擬合同時又保證泛化能力，需要不斷分析結果和資料，調優引數，這需要我們對資料分佈和模型底層的數學原理有一定的理解。所幸的是如果只是想合理應用機器學習，而不是做相關方向高精尖的research，需要的數學知識啃一啃還是基本能理解下來的。至於更高深的部分，恩，博主非常願意承認自己是『數學渣』。

　　基本所有常見機器學習演算法需要的數學基礎，都集中在微積分、線性代數和概率與統計當中。下面我們先過一過知識重點，文章的後部分會介紹一些幫助學習和鞏固這些知識的資料。

　　2、微積分

　　微分的計算及其幾何、物理含義，是機器學習中大多數演算法的求解過程的核心。比如演算法中運用到梯度下降法、牛頓法等。如果對其幾何意義有充分的理解，就能理解“梯度下降是用平面來逼近區域性，牛頓法是用曲面逼近區域性”，能夠更好地理解運用這樣的方法。

　　凸優化和條件最優化的相關知識在演算法中的應用隨處可見，如果能有系統的學習將使得你對演算法的認識達到一個新高度。

　　3、線性代數

　　大多數機器學習的演算法要應用起來，依賴於高效的計算，這種場景下，程式設計師GG們習慣的多層for迴圈通常就行不通了，而大多數的迴圈操作可轉化成矩陣之間的乘法運算，這就和線性代數有莫大的關係了

　　向量的內積運算更是隨處可見。

　　矩陣乘法與分解在機器學習的主成分分析***PCA***和奇異值分解***SVD*** 等部分呈現刷屏狀地出現。

　　4、概率與統計

　　從廣義來說，機器學習在做的很多事情，和統計層面資料分析和發掘隱藏的模式，是非常類似的。

　　極大似然思想、貝葉斯模型是理論基礎，樸素貝葉斯***Na?ve Bayes ***、語言模型***N-gram***、隱馬爾科夫***HMM***、隱變數混合概率模型是他們的高階形態。

　　常見分佈如高斯分佈是混合高斯模型***GMM***等的基礎。

　　5、典型演算法

　　絕大多數問題用典型機器學習的演算法都能解決，粗略地列舉一下這些方法如下：

　　處理分類問題的常用演算法包括：邏輯迴歸***工業界最常用***，支援向量機，隨機森林，樸素貝葉斯***NLP中常用***，深度神經網路***視訊、圖片、語音等多媒體資料中使用***。

　　處理迴歸問題的常用演算法包括：線性迴歸，普通最小二乘迴歸***Ordinary Least Squares Regression***，逐步迴歸***Stepwise Regression***，多元自適應迴歸樣條***Multivariate Adaptive Regression Splines***

　　處理聚類問題的常用演算法包括：K均值***K-means***，基於密度聚類，LDA等等。

　　降維的常用演算法包括：主成分分析***PCA***,奇異值分解***SVD*** 等。

　　推薦系統的常用演算法：協同過濾演算法

　　模型融合***model ensemble***和提升***boosting***的演算法包括：bagging，adaboost，GBDT，GBRT

　　其他很重要的演算法包括：EM演算法等等。

　　我們多插一句，機器學習裡所說的“演算法”與程式設計師所說的“資料結構與演算法分析”裡的“演算法”略有區別。前者更關注結果資料的召回率、精確度、準確性等方面，後者更關注執行過程的時間複雜度、空間複雜度等方面。。當然，實際機器學習問題中，對效率和資源佔用的考量是不可或缺的。

　　6、程式語言、工具和環境

　　無數的理論與知識，總歸要落到實際動手實現和解決問題上。而沒有工具所有的材料和框架、邏輯、思路都給你，也寸步難行。因此我們還是得需要合適的程式語言、工具和環境幫助自己在資料集上應用機器學習演算法，或者實現自己的想法。對初學者而言，Python和R語言是很好的入門語言，很容易上手，同時又活躍的社群支援，豐富的工具包幫助我們完成想法。相對而言，似乎計算機相關的同學用Python多一些，而數學統計出身的同學更喜歡R一些。我們對程式語言、工具和環境稍加介紹：

　　6.1 python

　　python有著全品類的資料科學工具，從資料獲取、資料清洗到整合各種演算法都做得非常全面。

　　網頁爬蟲: scrapy

　　資料探勘:

　　pandas：模擬R，進行資料瀏覽與預處理。

　　numpy：陣列運算。

　　scipy：高效的科學計算。

　　matplotlib：非常方便的資料視覺化工具。

　　機器學習:

　　scikit-learn：遠近聞名的機器學習package。未必是最高效的，但是介面真心封裝得好，幾乎所有的機器學習演算法輸入輸出部分格式都一致。而它的支援文件甚至可以直接當做教程來學習，非常用心。對於不是非常高緯度、高量級的資料，scikit-learn勝任得非常好***有興趣可以看看sklearn的原始碼，也很有意思***。

　　libsvm：高效率的svm模型實現***瞭解一下很有好處，libsvm的係數資料輸入格式，在各處都非常常見***

　　keras/TensorFlow：對深度學習感興趣的同學，也能很方便地搭建自己的神經網路了。

　　自然語言處理:

　　nltk：自然語言處理的相關功能做得非常全面，有典型語料庫，而且上手也非常容易。

　　互動式環境：

　　ipython notebook：能直接打通資料到結果的通道，方便至極。強力推薦。

　　6.2 R

　　R最大的優勢是開源社群，聚集了非常多功能強大可直接使用的包，絕大多數的機器學習演算法在R中都有完善的包可直接使用，同時文件也非常齊全。常見的package包括：RGtk2, pmml, colorspace, ada, amap, arules, biclust, cba, descr, doBy, e1071, ellipse等等。另外，值得一提的是R的視覺化效果做得非常不錯，而這對於機器學習是非常有幫助的。

　　6.3 其他語言

　　相應資深程式設計師GG的要求，再補充一下java和C++相關機器學習package。

　　Java系列

　　WEKA Machine Learning Workbench 相當於java中的scikit-learn

　　其他的工具如Massive Online Analysis***MOA***、MEKA 、 Mallet 等也非常有名。

　　更多詳細的應用請參考這篇文章《25個Java機器學習工具&庫》

　　C++系列

　　mlpack，高效同時可擴充性非常好的機器學習庫。

　　Shark：文件齊全的老牌C++機器學習庫。

　　*** 大資料相關

　　Hadoop：基本上是工業界的標配了。一般用來做特徵清洗、特徵處理的相關工作。

　　spark：提供了MLlib這樣的大資料機器學習平臺，實現了很多常用演算法。但可靠性、穩定性上有待提高。

　　6.5 作業系統

　　mac和linux會方便一些，而windows在開發中略顯力不從心。所謂方便，主要是指的mac和linux在下載安裝軟體、配置環境更快捷。

　　對於只習慣windows的同學，推薦anaconda，一步到位安裝完python的全品類資料科學工具包。

　　基本工作流程

　　以上我們基本具備了機器學習的必要條件，剩下的就是怎麼運用它們去做一個完整的機器學習專案。其工作流程如下:

　　抽象成數學問題

　　明確問題是進行機器學習的第一步。機器學習的訓練過程通常都是一件非常耗時的事情，胡亂嘗試時間成本是非常高的。

　　這裡的抽象成數學問題，指的我們明確我們可以獲得什麼樣的資料，目標是一個分類還是迴歸或者是聚類的問題，如果都不是的話，如果劃歸為其中的某類問題。

　　獲取資料

　　資料決定了機器學習結果的上限，而演算法只是儘可能逼近這個上限。

　　資料要有代表性，否則必然會過擬合。

　　而且對於分類問題，資料偏斜不能過於嚴重，不同類別的資料數量不要有數個數量級的差距。

　　而且還要對資料的量級有一個評估，多少個樣本，多少個特徵，可以估算出其對記憶體的消耗程度，判斷訓練過程中記憶體是否能夠放得下。如果放不下就得考慮改進演算法或者使用一些降維的技巧了。如果資料量實在太大，那就要考慮分散式了。

　　特徵預處理與特徵選擇

　　良好的資料要能夠提取出良好的特徵才能真正發揮效力。

　　特徵預處理、資料清洗是很關鍵的步驟，往往能夠使得演算法的效果和效能得到顯著提高。歸一化、離散化、因子化、缺失值處理、去除共線性等，資料探勘過程中很多時間就花在它們上面。這些工作簡單可複製，收益穩定可預期，是機器學習的基礎必備步驟。

　　篩選出顯著特徵、摒棄非顯著特徵，需要機器學習工程師反覆理解業務。這對很多結果有決定性的影響。特徵選擇好了，非常簡單的演算法也能得出良好、穩定的結果。這需要運用特徵有效性分析的相關技術，如相關係數、卡方檢驗、平均互資訊、條件熵、後驗概率、邏輯迴歸權重等方法。

　　訓練模型與調優

　　直到這一步才用到我們上面說的演算法進行訓練。現在很多演算法都能夠封裝成黑盒供人使用。但是真正考驗水平的是調整這些演算法的***超***引數，使得結果變得更加優良。這需要我們對演算法的原理有深入的理解。理解越深入，就越能發現問題的癥結，提出良好的調優方案。

　　模型診斷

　　如何確定模型調優的方向與思路呢?這就需要對模型進行診斷的技術。

　　過擬合、欠擬合判斷是模型診斷中至關重要的一步。常見的方法如交叉驗證，繪製學習曲線等。過擬合的基本調優思路是增加資料量，降低模型複雜度。欠擬合的基本調優思路是提高特徵數量和質量，增加模型複雜度。

　　誤差分析也是機器學習至關重要的步驟。通過觀察誤差樣本，全面分析誤差產生誤差的原因:是引數的問題還是演算法選擇的問題，是特徵的問題還是資料本身的問題……

　　診斷後的模型需要進行調優，調優後的新模型需要重新進行診斷，這是一個反覆迭代不斷逼近的過程，需要不斷地嘗試，進而達到最優狀態。

　　模型融合

　　一般來說，模型融合後都能使得效果有一定提升。而且效果很好。

　　工程上，主要提升演算法準確度的方法是分別在模型的前端***特徵清洗和預處理，不同的取樣模式***與後端***模型融合***上下功夫。因為他們比較標準可複製，效果比較穩定。而直接調參的工作不會很多，畢竟大量資料訓練起來太慢了，而且效果難以保證。

　　上線執行

　　這一部分內容主要跟工程實現的相關性比較大。工程上是結果導向，模型在線上執行的效果直接決定模型的成敗。不單純包括其準確程度、誤差等情況，還包括其執行的速度***時間複雜度***、資源消耗程度***空間複雜度***、穩定性是否可接受。

　　這些工作流程主要是工程實踐上總結出的一些經驗。並不是每個專案都包含完整的一個流程。這裡的部分只是一個指導性的說明，只有大家自己多實踐，多積累專案經驗，才會有自己更深刻的認識。

　　關於積累專案經驗

　　初學機器學習可能有一個誤區，就是一上來就陷入到對各種高大上演算法的追逐當中。動不動就我能不能用深度學習去解決這個問題啊?我是不是要用boosting演算法做一些模型融合啊?我一直持有一個觀點，『脫離業務和資料的演算法討論是毫無意義的』。

　　實際上按我們的學習經驗，從一個數據源開始，即使是用最傳統，已經應用多年的機器學習演算法，先完整地走完機器學習的整個工作流程，不斷嘗試各種演算法深挖這些資料的價值，在運用過程中把資料、特徵和演算法搞透，真正積累出項目經驗才是最快、最靠譜的學習路徑。

　　那如何獲取資料和專案呢?一個捷徑就是積極參加國內外各種資料探勘競賽，資料直接下載下來，按照競賽的要求去不斷優化，積累經驗。國外的Kaggle和國內的DataCastle 以及阿里天池比賽都是很好的平臺，你可以在上面獲取真實的資料和資料科學家們一起學習和進行競賽，嘗試使用已經學過的所有知識來完成這個比賽本身也是一件很有樂趣的事情。和其他資料科學家的討論能開闊視野，對機器學習演算法有更深層次的認識。

　　有意思的是，有些平臺，比如阿里天池比賽，甚至給出了從資料處理到模型訓練到模型評

　　估、視覺化到模型融合增強的全部元件，你要做的事情只是參與比賽，獲取資料，然後使用這些元件去實現自己的idea即可。具體內容可以參見阿里雲機器學習文件。

　　自主學習能力

　　多幾句嘴，這部分內容和機器學習本身沒有關係，但是我們覺得這方面的能力對於任何一種新知識和技能的學習來說都是至關重要的。自主學習能力提升後，意味著你能夠跟據自己的情況，找到最合適的學習資料和最快學習成長路徑。

　　資訊檢索過濾與整合能力

　　對於初學者，絕大部分需要的知識通過網路就可以找到了。

　　google搜尋引擎技巧——組合替換搜尋關鍵詞、站內搜尋、學術文獻搜尋、PDF搜尋等——都是必備的。

　　一個比較好的習慣是找到資訊的原始出處，如個人站、公眾號、部落格、專業網站、書籍等等。這樣就能夠找到系統化、不失真的高質量資訊。

　　百度搜到的技術類資訊不夠好，建議只作為補充搜尋來用。各種搜尋引擎都可以交叉著使用效果更好。

　　學會去常見的高質量資訊源中搜索東西:stackoverflow***程式相關***、quora***高質量回答***、wikipedia***系統化知識，比某某百科不知道好太多***、知乎***中文、有料***、網盤搜尋***免費資源一大把***等。

　　將蒐集到的網頁放到分類齊全的雲端收藏夾裡，並經常整理。這樣無論在公司還是在家裡，在電腦前還是在手機上，都能夠找到自己喜歡的東西。

　　蒐集到的檔案、程式碼、電子書等等也放到雲端網盤裡，並經常整理。