資訊專欄INFORMATION COLUMN
摘要：前言本文使用訓(xùn)練線性回歸模型，并將其與做比較。數(shù)據(jù)集來自的網(wǎng)上公開課程代碼陳水平輸出如下思考對(duì)于，梯度下降的步長(zhǎng)參數(shù)需要很仔細(xì)的設(shè)置，步子太大容易扯到蛋導(dǎo)致無法收斂步子太小容易等得蛋疼。迭代次數(shù)也需要細(xì)致的嘗試。
前言
本文使用tensorflow訓(xùn)練線性回歸模型，并將其與scikit-learn做比較。數(shù)據(jù)集來自Andrew Ng的網(wǎng)上公開課程Deep Learning
代碼#!/usr/bin/env python
# -*- coding=utf-8 -*-
# @author: 陳水平
# @date: 2016-12-30
# @description: compare scikit-learn and tensorflow, using linear regression data from deep learning course by Andrew Ng.
# @ref: http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.html
import tensorflow as tf
import numpy as np
from sklearn import linear_model
# Read x and y
x_data = np.loadtxt("ex2x.dat")
y_data = np.loadtxt("ex2y.dat")
# We use scikit-learn first to get a sense of the coefficients
reg = linear_model.LinearRegression()
reg.fit(x_data.reshape(-1, 1), y_data)
print "Coefficient of scikit-learn linear regression: k=%f, b=%f" % (reg.coef_, reg.intercept_)
# Then we apply tensorflow to achieve the similar results
# The structure of tensorflow code can be divided into two parts:
# First part: set up computation graph
W = tf.Variable(tf.random_uniform([1], -1.0, 1.0))
b = tf.Variable(tf.zeros([1]))
y = W * x_data + b
loss = tf.reduce_mean(tf.square(y - y_data)) / 2
optimizer = tf.train.GradientDescentOptimizer(0.07) # Try 0.1 and you will see unconvergency
train = optimizer.minimize(loss)
init = tf.initialize_all_variables()
# Second part: launch the graph
sess = tf.Session()
sess.run(init)
for step in range(1500):
sess.run(train)
if step % 100 == 0:
print step, sess.run(W), sess.run(b)
print "Coeeficient of tensorflow linear regression: k=%f, b=%f" % (sess.run(W), sess.run(b))
輸出如下：
Coefficient of scikit-learn linear regression: k=0.063881, b=0.750163 0 [ 0.45234478] [ 0.10217379] 100 [ 0.13166969] [ 0.4169243] 200 [ 0.09332827] [ 0.58935112] 300 [ 0.07795752] [ 0.67282093] 400 [ 0.07064758] [ 0.71297228] 500 [ 0.06713474] [ 0.73227954] 600 [ 0.06544565] [ 0.74156356] 700 [ 0.06463348] [ 0.74602771] 800 [ 0.06424291] [ 0.74817437] 900 [ 0.06405514] [ 0.74920654] 1000 [ 0.06396478] [ 0.74970293] 1100 [ 0.06392141] [ 0.74994141] 1200 [ 0.06390052] [ 0.75005609] 1300 [ 0.06389045] [ 0.7501114] 1400 [ 0.0638856] [ 0.75013816] Coeeficient of tensorflow linear regression: k=0.063883, b=0.750151思考
對(duì)于tensorflow，梯度下降的步長(zhǎng)alpha參數(shù)需要很仔細(xì)的設(shè)置，步子太大容易扯到蛋導(dǎo)致無法收斂；步子太小容易等得蛋疼。迭代次數(shù)也需要細(xì)致的嘗試。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/38293.html
摘要：貢獻(xiàn)者飛龍版本最近總是有人問我，把這些資料看完一遍要用多長(zhǎng)時(shí)間，如果你一本書一本書看的話，的確要用很長(zhǎng)時(shí)間。為了方便大家，我就把每本書的章節(jié)拆開，再按照知識(shí)點(diǎn)合并，手動(dòng)整理了這個(gè)知識(shí)樹。 Special Sponsors showImg(https://segmentfault.com/img/remote/1460000018907426?w=1760&h=200); 貢獻(xiàn)者：飛龍版...
摘要：前言本文使用訓(xùn)練多元線性回歸模型，并將其與做比較。在這個(gè)例子中，變量一個(gè)是面積，一個(gè)是房間數(shù)，量級(jí)相差很大，如果不歸一化，面積在目標(biāo)函數(shù)和梯度中就會(huì)占據(jù)主導(dǎo)地位，導(dǎo)致收斂極慢。 前言 本文使用tensorflow訓(xùn)練多元線性回歸模型，并將其與scikit-learn做比較。數(shù)據(jù)集來自Andrew Ng的網(wǎng)上公開課程Deep Learning 代碼 #!/usr/bin/env pyth...
摘要：前言本文使用訓(xùn)練邏輯回歸模型，并將其與做比較。對(duì)數(shù)極大似然估計(jì)方法的目標(biāo)函數(shù)是最大化所有樣本的發(fā)生概率機(jī)器學(xué)習(xí)習(xí)慣將目標(biāo)函數(shù)稱為損失，所以將損失定義為對(duì)數(shù)似然的相反數(shù)，以轉(zhuǎn)化為極小值問題。 前言 本文使用tensorflow訓(xùn)練邏輯回歸模型，并將其與scikit-learn做比較。數(shù)據(jù)集來自Andrew Ng的網(wǎng)上公開課程Deep Learning 代碼 #!/usr/bin/env ...
摘要：深度學(xué)習(xí)在過去的幾年里取得了許多驚人的成果，均與息息相關(guān)。機(jī)器學(xué)習(xí)進(jìn)階筆記之一安裝與入門是基于進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)，被廣泛用于語音識(shí)別或圖像識(shí)別等多項(xiàng)機(jī)器深度學(xué)習(xí)領(lǐng)域。零基礎(chǔ)入門深度學(xué)習(xí)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)。 多圖｜入門必看：萬字長(zhǎng)文帶你輕松了解LSTM全貌 作者 | Edwin Chen編譯 | AI100第一次接觸長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）時(shí)，我驚呆了。原來，LSTM是神...
閱讀 1936·2021-11-22 12:09
閱讀 1532·2019-08-30 13:22
閱讀 2167·2019-08-29 17:00
閱讀 2704·2019-08-29 16:28
閱讀 3020·2019-08-26 13:51
閱讀 1253·2019-08-26 13:25
閱讀 3330·2019-08-26 12:14
閱讀 3083·2019-08-26 12:14
