機器學習-斯坦福大學 -Andrew Ng: 前兩周課程小結

zgbgx 發(fā)布于2019-08-15 11:09 / 3582人閱讀

摘要：前兩周的課程主要數(shù)學知識點為矩陣乘法如若可以相乘必然有，最后的結果為的在線性回歸中矩陣用處在于數(shù)據(jù)量有數(shù)據(jù)有實際值向量預測值向量監(jiān)督學習與非監(jiān)督學習監(jiān)督學習我們的目標是從輸入到輸出的一種映射關系。

1、前兩周的課程主要數(shù)學知識點為矩陣乘法

A m*n B k*y
如若 A*B 可以相乘 必然有 n=k，最后的結果為 m*y的matrix
在線性回歸中矩陣用處在于：
 x10 x11 x12 x13  y1          &1
 x20 x21 x22 x23  y2          &2
  .   .   .   .    .          &3
  .   .   .   .    .      

 數(shù)據(jù)量有 m  &數(shù)據(jù)有 n                         
 X = m n
 Y=m 1(實際值向量)
 &=n 1
 Final =X*Y
 Final=m 1 (預測值向量)

2、監(jiān)督學習與非監(jiān)督學習

監(jiān)督學習：我們的目標是從輸入到輸出的一種映射關系。其中輸出的值已經有了，其指導我們輸出的數(shù)據(jù)了。我們根據(jù)已經有的輸出值，對輸入值進行學習，尋找輸入值與輸出值之間的關系。例：一堆（x,y），數(shù)據(jù)學習其中x（輸入值）與y（輸出值）之間的關系。
非監(jiān)督學習：與監(jiān)督學習最大的區(qū)別在于，非監(jiān)督沒有已知的輸出值給予訓練，完全依靠模型尋找輸入值之間內在的關系。例：新聞聚類，給新聞分類
總：有輸出值得數(shù)據(jù)為監(jiān)督學習，沒有輸出值為非監(jiān)督學習。

3.1、線性回歸-代價函數(shù)(cost function)

y擬合=θ0x0+θ1x1
選擇合適θ0和θ1來使直線最好的擬合圖中的數(shù)據(jù)點。
所以這里有一個最小化的概念就是使假設函數(shù)與訓練樣本之間的誤差最小。
最小化：就是直線最佳擬合圖中數(shù)據(jù)點。
求法：(y擬合(x)-y(x))^2, 其實就是求預測函數(shù)取x值是y預測到y(tǒng)真實的距離的平方，這是一個點，最后將每一個點都加和起來，求平均值

3.2、線性回歸-梯度下降（gradient descent）

梯度下降：重復計算直到收斂

圖中的 := 代表賦值符號,而且需要注意的是每次更新都是同時賦值。
alpha 代表的是學習速率，它控制我們以多大的的幅度更新這個參數(shù)代表θj。也就是上面說的大步流星下山或是小碎步下山。
alpha大小取值過大會導致最終不能收斂。
             過小會導致收斂次數(shù)對多，耗費時間長。

3.2、線性回歸-特征縮放（Feature Scaling）

特征縮放：是梯度下降快速收斂到終止位置（閾值點）。

    μi：所有特征(i)的平均值。
    si：特征(i)的(max - min)或者標準偏差。

3.3、線性回歸-正常方程求解（Normal Equation）

梯度下降與正常方程求解優(yōu)缺點：
梯度下降                               正常求解
需要選擇alpha大小                      不需要考慮alpha大小
需要很多次迭代                         不需要迭代
O(Kn^2)                               O(n^3),并且需要計算X"X
在特征比較多的時候使用                  特征數(shù)量較小時使用

云服務器 GPU云服務器大學機器學習機器學習大學機器學習學習課程學習機器學習課程

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://www.ezyhdfw.cn/yun/67568.html

我是如何在1天內構建一個深度學習模型并進擊Kaggle比賽的

摘要：是為結果導向型人群開設的深度學習在線課程。但是最關鍵的是，我想通過構建簡單的深度學習解決方案來實現(xiàn)理論和實踐的相結合。我的目標是在一天結束前進入排名的前。我的時間都用于學習庫組織數(shù)據(jù)和評估結果都是一些與深度學習無關的簡單流程。 Fast.ai是Jeremy Howard為結果導向型人群開設的深度學習在線課程。我讀過很多關于機器學習的書，也參加過不少這方面的課程，但我認為Fast.ai是迄今為...

shinezejian 2019-04-25 18:14 評論0 收藏0
機器學習Ng課程筆記——線性回歸算法

摘要：在回歸分析中，只包括一個自變量和一個因變量，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析如果回歸分析中包括兩個及以上個自變量，且因變量和自變量直接是線性關系，則稱之為多元線性回歸分析。參考斯坦福大學機器學習公開課定義假設函數(shù)與代價函數(shù)(損失函數(shù)) 特征量放縮最小化代價函數(shù) 收斂判定 1.什么是線性回歸在統(tǒng)計學中，線性回歸是利用被稱為線性回歸方程的最小平...

Chaz 2019-07-30 15:42 評論0 收藏0
6張圖像vs13000張圖像，超越2013 Kaggle貓狗識別競賽領先水平

摘要：年，舉辦過一個很受歡迎的貓狗識別競賽。當時，正如比賽官網(wǎng)宣布的，在使用張貓和狗的圖像進行訓練后，較先進的算法分辨貓狗的準確率是。醫(yī)學診斷異常檢測圖像識別的工業(yè)應用，等等。小結結果令人吃驚。 2013年，Kaggle舉辦過一個很受歡迎的貓狗識別競賽（Dogs vs. Cats）。比賽的目標是訓練一種能夠檢測圖像中是否包含貓或者狗的算法。當時，正如比賽官網(wǎng)宣布的，在使用13000張貓和狗的圖像進...

RdouTyping 2019-04-25 18:18 評論0 收藏0
PyTorch一周年戰(zhàn)績總結：是否比TensorFlow來勢兇猛？

摘要：截止到今天，已公開發(fā)行一周年。一年以來，社區(qū)中的用戶不斷做出貢獻和優(yōu)化，在此深表感謝。所以與衡量它的指標包括在機器學習研究論文中的使用。來自香港科技大學的在上推出了面向普通觀眾的在線課程。 Yann LeCun Twitter截止到今天，PyTorch 已公開發(fā)行一周年。一年以來，我們致力于打造一個靈活的深度學習研究平臺。一年以來，PyTorch 社區(qū)中的用戶不斷做出貢獻和優(yōu)化，在此深表感謝...

ymyang 2019-04-25 18:23 評論0 收藏0
重磅 | 完備的 AI 學習路線，最詳細的資源整理！

摘要：是你學習從入門到專家必備的學習路線和優(yōu)質學習資源。的數(shù)學基礎最主要是高等數(shù)學線性代數(shù)概率論與數(shù)理統(tǒng)計三門課程，這三門課程是本科必修的。其作為機器學習的入門和進階資料非常適合。書籍介紹深度學習通常又被稱為花書，深度學習領域最經典的暢銷書。 showImg(https://segmentfault.com/img/remote/1460000019011569); 【導讀】本文由知名開源平...

荊兆峰 2019-06-26 18:54 評論0 收藏0