先確認下自己是否對此感興趣，正感興趣就考慮學(xué)習(xí)，不論是自學(xué)還是參加學(xué)習(xí)，都務(wù)必要有堅定的信念，當然學(xué)習(xí)數(shù)據(jù)分析是需要一定的數(shù)學(xué)、統(tǒng)計基礎(chǔ)，同時需要掌握一點數(shù)據(jù)分析的工具軟件，若有人帶你學(xué)習(xí)或指導(dǎo)你，將會事半功倍，我知道比較牛的數(shù)據(jù)分析專家是趙強，舒立克商學(xué)院數(shù)據(jù)分析教授，有興趣可以了解下他，

完整的數(shù)據(jù)分析流程：

? 業(yè)務(wù)建模。

? 經(jīng)驗分析。

? 數(shù)據(jù)準備。

? 數(shù)據(jù)處理。

? 數(shù)據(jù)分析與展現(xiàn)。

? 專業(yè)報告。

? 持續(xù)驗證與跟蹤。

1、 數(shù)據(jù)采集

了解數(shù)據(jù)采集的意義在于真正了解數(shù)據(jù)的原始面貌，包括數(shù)據(jù)產(chǎn)生的時間、條件、格式、內(nèi)容、長度、限制條件等。

2、數(shù)據(jù)存儲

在數(shù)據(jù)存儲階段，數(shù)據(jù)分析師需要了解數(shù)據(jù)存儲內(nèi)部的工作機制和流程，最核心的因素是在原始數(shù)據(jù)基礎(chǔ)上經(jīng)過哪些加工處理，最后得到了怎樣的數(shù)據(jù)。

3、數(shù)據(jù)提取

在數(shù)據(jù)提取階段，數(shù)據(jù)分析師首先需要具備數(shù)據(jù)提取能力。其次是理解業(yè)務(wù)需求的能力。

4、數(shù)據(jù)挖掘

在數(shù)據(jù)挖掘階段，數(shù)據(jù)分析師要掌握數(shù)據(jù)挖掘相關(guān)能力。一是數(shù)據(jù)挖掘、統(tǒng)計學(xué)、數(shù)學(xué)基本原理和常識；二是熟練使用一門數(shù)據(jù)挖掘工具，Clementine、SAS或R都是可選項，如果是程序出身也可以選擇編程實現(xiàn)；三是需要了解常用的數(shù)據(jù)挖掘算法以及每種算法的應(yīng)用場景和優(yōu)劣差異點......

加米谷大數(shù)據(jù)開發(fā)培訓(xùn)9月0基礎(chǔ)班，預(yù)報名中...

相關(guān)：

數(shù)據(jù)分析師的完整工作流程與知識結(jié)構(gòu)體系

https://www.toutiao.com/i6584961126356746760/

想要深入學(xué)習(xí)數(shù)據(jù)分析，第一步是要進行Python實戰(zhàn)，然后需要對業(yè)務(wù)進行深入的理解，建立指標體系和思路，因為脫離了業(yè)務(wù)的數(shù)據(jù)分析基本上就是瞎胡鬧。

這里我就不談業(yè)務(wù)了，先演示一下如何利用Python做一次真正的、完整的數(shù)據(jù)分析實操。

————————Python實操正文————————

比如說，我想要研究亞馬遜上Top100的細分品類——女式內(nèi)衣的銷售情況。（還有點不好意思）

分析分為三步：數(shù)據(jù)采集、數(shù)據(jù)清理、可視化分析

Python爬數(shù)據(jù)很簡單，我個人總結(jié)大致就 3點：請求數(shù)據(jù)、進行數(shù)據(jù)處理、寫數(shù)據(jù)。

• 請求數(shù)據(jù)

會有幾種可能：

• 很簡單的html頁面，就直接requests就可以請求成功；
• js渲染的頁面 ，這種頁面超多，requests請求一堆js數(shù)據(jù)；
• 需要登錄才能獲取，至今登錄我都是用的cookie 請求登錄，但應(yīng)該有更好的辦法；
• json數(shù)據(jù)；

• 數(shù)據(jù)處理

會有幾種可能：

• 請求的數(shù)據(jù)是簡單的html結(jié)構(gòu)頁面——直接BS4解析就好了
• 請求的數(shù)據(jù)是json——導(dǎo)入json模塊進行解析
• 請求的數(shù)據(jù)是簡單的js渲染的html頁面

遇到這種頁面通過抓包或者簡單的在網(wǎng)站上審查請求，然后找的你想要的那部分數(shù)據(jù)，如果是js渲染的html，其實就是js拼寫的html，只要把其他無用的數(shù)據(jù)匹配掉用正則找到剩下想要的html文本就好了 。然后BS4解析。

• 寫數(shù)據(jù)

open方法進行文件打開 里面的參數(shù)進行文件格式設(shè)置，讀寫文件、編碼格式操作

文件格式我用過的就是txt、csv 、xml 大部分文本格式都支持的。

a--是創(chuàng)建文件 每次寫都是重新創(chuàng)建w--是追加a--是讀數(shù)據(jù)encoding="utf-8"這句話 不加encoding= 在windows系統(tǒng)下會報編碼錯誤，linux不會。

然后就是數(shù)據(jù)量太大，寫入到數(shù)據(jù)庫數(shù)據(jù)庫就用sqlite，記得引入模塊 import sqlite3，就是創(chuàng)建數(shù)據(jù)表。

好了，不啰嗦，開始爬數(shù)據(jù)。

1、爬取商品排名和詳情頁鏈接

需要爬取的具體字段：排名（Rank），商品名（item_name），商品詳情頁鏈接（item_link）、商品圖片鏈接（img_src）。

2、在商品詳情頁爬取更多商品信息

店家名、店家鏈接、商品名、價格

星級、評論標簽

核心：

• 構(gòu)建函數(shù)來獲取單個商品的詳細信息；
• 利用for循環(huán)，遍歷商品詳情頁鏈接列表，來獲取每個商品的詳細信息

3、爬取評論

評論內(nèi)容，星級

核心：

• 從上一步的csv文件中，讀取Rank , item_name , reviews , reviews_link字段
• 構(gòu)建函數(shù)讀取每個商品的所有評論
• 利用for循環(huán)，獲取所有商品的所有評論
• 存儲到數(shù)據(jù)庫和csv文件中

4、爬取size和color數(shù)據(jù)

和第三步基本一樣，代碼基本一樣，主要在于要確認每頁評論的size&color個數(shù)。

1、讀取、清洗數(shù)據(jù)

從csv文件讀取100個商品的數(shù)據(jù)，篩選出所需要的字段，進行數(shù)據(jù)清洗。

這里注意，部分讀取的數(shù)據(jù)，看似是數(shù)值，實際是字符，因此需要進行類型轉(zhuǎn)換（如price拆分后，還需要轉(zhuǎn)為float型）

需要參與數(shù)值計算的NaN，使用平均值進行替換。

2、以商家維度處理數(shù)據(jù)

獲取所需的數(shù)據(jù)：商家的星級、評論數(shù)總和、評論數(shù)均值、最低價均值、最高價均值、價格均值、商品數(shù)量、占比。針對星級、評論數(shù)均值、價格均值、商品數(shù)量做標準化處理，并計算加權(quán)分。

1、不同商家的星級排名

• 平均星級達4.15分，高于平均分的商家超過一半（17/32）
• Top1的LALAVAVA高達4.9分，緊隨其后也有5家達到4.5分。
• 倒數(shù)第一N-pearI只有3.2分

讓我看看LALAVAVA長什么樣。亞馬遜上的商品，看上去就是普通泳衣，米國人還是很保守的嘛~

但評分高真的就說明產(chǎn)品好嗎？不如來看看評論數(shù)吧。

②不同商家的平均評論數(shù)排名

• 首先平均評論數(shù)只有193條，而且高于平均線的只有不到三成（12/32），想想淘寶動輒上萬，我們的人口優(yōu)勢讓米國人羨慕呀；
• 再來看星級Top1的LALAVAVA，評論數(shù)少得可憐，那么對其商品真實質(zhì)量就要存疑了；
• 而星級倒數(shù)的N-pear I，同樣評論數(shù)很少，那大概率其商品其實不咋地；
• 反觀評論數(shù)Top1的Garmol，其星級評價4.4，口碑佳評論也多，看來是不錯的商品；
• 緊隨其后的幾家，其星級分數(shù)就低于平均分了

那么，亞馬遜的星級評價難道就只受評論數(shù)的幾顆星比例影響嗎？我查閱了網(wǎng)上的一些資料，發(fā)現(xiàn)亞馬遜評價星級評定的三個重要因素：評論距離現(xiàn)在的時間，評論被買家投票采納數(shù)，評論是否有verified purchase標志（意指真實買家）。此外，評論的字符數(shù)，被點擊次數(shù)等因素也可能會對評論星級有影響。

看來，亞馬遜對評論的監(jiān)控和管理是非常嚴格而復(fù)雜的！當然，最重要的還是看看評論第一名的Garmol長什么樣：

比上邊的泳衣更點題了，大家說好才是真的好，very sexy！

2、不同商家的價格區(qū)間排名（按均價）

• 從圖上來看，明顯ELOVER鎖定的是高端市場，定價區(qū)間在49刀左右；相反，Goddessvan定價僅0.39刀，還只有一款，猜測可能是虧本沖量，提高商家曝光，搶奪低端市場
• 從均價來看，基本分布在10-20刀間，說明這是情趣內(nèi)衣市場的主要價格區(qū)間；但20-40刀區(qū)間居然沒有任何商家，可以在這一塊深入研究，看能不能找到證據(jù)說明該區(qū)間是藍海，有更大的市場潛力
• 而從每個商家的價格區(qū)間來看，大多數(shù)都是采取多顏色或款式的策略，一方面為用戶提供更多選擇，另一方面也體現(xiàn)了商家的上新能力；而僅有少數(shù)幾家采取了單一爆款的策略

最奢華的ELOVER看上去果然比較女神，縮略圖都比別家更用心。

那么，到底哪個商家的策略更靠譜，市場份額更大呢？

3、商家的商品數(shù)量餅

• 在Top100的商品占比中，Avidlove以28%的巨大優(yōu)勢稱霸
• 而其他商家基本都是個位數(shù)的占比，沒有很明顯的優(yōu)劣勢

Avidlove的內(nèi)衣是酷酷風(fēng)的，我喜歡。

單一方面畢竟還是很難衡量哪家商家更優(yōu)秀，不如綜合多個指標來分析吧~

4、不同商家的加權(quán)分排名

將星級、平均評論數(shù)、商品均價、商品數(shù)量進行標準化處理后，因為不好拍定加權(quán)的比例，便將4項的歸一化結(jié)果x10后直接累加得到總分，并制作成條形堆積圖。

而每個商家的4項指標的占比，則側(cè)面反映其自身的優(yōu)劣勢。

• Avidlove，剛剛的酷酷風(fēng)內(nèi)衣，在其他三項中規(guī)中矩的情況下，以商品數(shù)量優(yōu)勢奪得綜合分第一，有種農(nóng)村包圍城市的感覺
• Garmol，主要依靠口碑（星級、平均評論數(shù)）的優(yōu)勢，奪得了第二名
• ELOVER，主要依靠精準切分高端市場，奪得了第三名
• N-pearI，沒有任何優(yōu)勢，不出意料的光榮墊底

口碑最差的N-pearI，能搜到的商品也最少，不過圖很勁爆，emm……然而不是我的菜

粗略來看的話，想要排名靠前，口碑一定不能太差，至少要保持在平均水平及以上！

5、不同商家的星級/價格散點圖

用Python做了張散點圖，x軸為商家的商品均價，y軸為商家的星級，點大小為商品數(shù)量，商品數(shù)量越大，點越大，點顏色為評論均值，評論均值越大，顏色越深紅。

利用價格均值和星級均值，將圖切分為四個象限：

①左上象限：實惠好評的商家

②右上象限：有點貴，但一分錢一分貨的商家

③右下象限：貴，但質(zhì)量不咋地的商家

④左下象限：便宜沒好貨的商家

所以借助這張散點圖，挑商家買東西就容易多啦：

• 追求性價比，可選擇Avidlove，而且商品多，任君挑選 ；
• 追求高端，可選擇ELOVER，它貴有它的道理 ；
• 追求大眾，可選擇Garmol，評論數(shù)最多，而且好評居多 。

顧客可以根據(jù)自己的喜好挑選合適的商家，那么作為商家如何改進自己呢？

6、詞頻分析

前面在爬取的過程中，同樣爬取了評論標簽，通過對此進行詞頻分析，可以發(fā)現(xiàn)顧客最關(guān)心的依次是：

• 是否合身：size、fit等相關(guān)字眼多次出現(xiàn)且排位靠前
• 質(zhì)量：good quality、well made；soft and comfortable、fabric是對材質(zhì)的肯定
• 款式：cute、sexy、like the picture你懂的
• 價格：cheaply made勉強算價格吧，但更多是對商品質(zhì)量的懷疑
• 口碑：highly recommend，評論的還是非常有參考價值的

評論標簽的數(shù)量較少，進一步對2.4w條評論進行詞頻分析，并制作成詞云：

快夸我底圖選得好！

最直觀的，仍然是跟“是否合身”以及質(zhì)量或款式有關(guān)。那么我們就從顧客購買商品的Size&Color繼續(xù)分析

這里，Size&Color的詞頻數(shù)據(jù)存在幾點問題：1、數(shù)據(jù)量較少，僅有約6000條2、Size&Color無法較好的區(qū)分開，因此一起分析3、商家的命名規(guī)則不同，比如同樣是黑色款，有個商家會命名black，而有的可能是style1（所以一些奇怪的數(shù)字編號其實是商家的款式編號）4、有些奇怪的字眼如trim可能是爬蟲時爬錯了或者導(dǎo)出csv時的格式錯亂

可以明顯看出：

Size方面：large、medium、small肯定均有涵蓋，但另外還有xlarge、xxlarge、xxxlarge，亞馬遜主要是歐美顧客，可能體型相對較大，所以商家應(yīng)該多研發(fā)以及備貨針對體型較大的顧客的商品。

Color方面：非常直觀：Black > red > blue > green > white > purple....所以黑色、紅色永遠不會錯；綠色是出乎我意料的，商家也可以大膽嘗試。

Style方面：詞頻中出現(xiàn)trim、lace字眼，蕾絲最高?。?！

在分析了Top100的商品信息和2.4w條評論后，作為一篇正經(jīng)的python數(shù)據(jù)分析研究，我們來總結(jié)一下亞馬遜情趣內(nèi)衣產(chǎn)品和銷售策略：

1、一定要注意的競品

Garmol、ELOVER、Avidlove分別在口碑、定價、產(chǎn)品數(shù)量三個方向有其核心優(yōu)勢，是需要重點研究的競爭對手。

2、口碑很重要

• Review和星級是影響口碑的重要因素，需要深入研究其算法機制并制定針對性的營銷策略
• Review和星級有基礎(chǔ)要求
• 平均星級達4.15分，高于平均分的商家超過一半
• 平均評論數(shù)只有193條，高于平均線的商家約三成
• Review相對淘寶評論較少，亞馬遜的算法復(fù)雜且懲罰力度大，因此Review重精勝于重多

3、定價策略

• 主流市場競爭激烈，價格多集中在10-20刀間
• 高端市場有切入機會，目前僅ELOVER一家，價格在40-55刀間
• 低端市場價值不大，利潤空間小，為了提高曝光或鋪量可考慮，但不利于以后沖擊中高端市場
• 中高端市場機會巨大，20-40刀區(qū)間暫無其他商家，有巨大的市場潛力

4、產(chǎn)品策略

• 應(yīng)結(jié)合目標市場和定價，提高研發(fā)和上新能力，先多產(chǎn)品試錯，再嘗試單一爆款鞏固市場
• 內(nèi)衣尺寸：合身最重要，需貼合國外顧客的體型，一般large及以上。顏色上：保守可多使用黑色、紅色，同時可大膽嘗試綠色?？钍缴希憾嗖捎美俳z裝飾
• 質(zhì)量和品控是底線

5、拓展&思考：

• 亞馬遜Best Sellers是每小時更新一次，理論上可以每一小時爬一次，看商品的排名變化，是否有新品等 ，可以嘗試自動化爬蟲；
• 針對上一點，但商品的評論內(nèi)容并不是經(jīng)常更新的，如何去重避免重復(fù)爬取？（類似于斷點續(xù)傳功能）；
• 此次也有爬取商品圖片的鏈接，可全部下載；在積累一定的圖片素材以后，就可以一定程度上看出顏色、甚至是款式的趨勢。

——————一次完整的數(shù)據(jù)分析就結(jié)束了——————

這個的話，看你是學(xué)什么專業(yè)的，干的什么工作，結(jié)合工作來說，數(shù)據(jù)分析的話有點專業(yè)性較強，沒有基礎(chǔ)的話，可能學(xué)習(xí)起來比較難，所以結(jié)合自己的專業(yè)，工作等等。如果真的想要學(xué)習(xí)的話，多看看視頻，別人的教學(xué)視頻，或者在一些云課堂上面都有好多，我自己還是比較喜歡網(wǎng)易云課堂的，比較不錯，也學(xué)會了很多。祝你成功！

大家都知道我一直專注于數(shù)據(jù)分析領(lǐng)域，在知乎上面也發(fā)表了些數(shù)據(jù)分析方面的文章，帶動了不少有這方面想法的小伙伴想進入數(shù)據(jù)分析領(lǐng)域。

不少小伙伴會私信我，提出自己學(xué)習(xí)數(shù)據(jù)的一些想法和計劃，但其中有些同學(xué)的想法讓我感覺到大家在數(shù)據(jù)入門方面可能走入了一些歧途，典型的聊天一般是這樣的：

現(xiàn)在有不少數(shù)據(jù)方面的"小白"，來自運營、產(chǎn)品，大家學(xué)習(xí)數(shù)據(jù)的切入?yún)s選擇了學(xué)習(xí)類似Python這樣的編程語言。這樣的想法確實讓我感覺有必要發(fā)文一篇，以免更多的朋友南轅北轍、誤入歧途。

我一直認為各行各業(yè)的同學(xué)都應(yīng)該具備一定的數(shù)據(jù)分析能力，哪怕你不是或者也不準備做一名數(shù)據(jù)分析師。原因在于數(shù)據(jù)分析是一種思想，是一種高效且行之有效的認識這個世界的能力。

即便你本人并不做數(shù)據(jù)分析師，一旦具備了這種思想和能力，也能夠讓你在自己的領(lǐng)域看的更高、更遠、更透徹。而類似Python這樣的編程語言是一門工具，也僅僅是一門工具而已。即便掌握了這門工具，也并不代表你掌握了數(shù)據(jù)分析的思想和能力。

更何況，這樣的工具對于非IT領(lǐng)域的同學(xué)來說過于繁瑣，學(xué)習(xí)成本是非常高的。這也是為什么要選擇FineBI這樣的工具作為數(shù)據(jù)分析的工具，因為FineBI足夠簡單，上手夠快，并能夠支撐數(shù)據(jù)分析的一般需求，更重要的是我們的課程是要教給大家數(shù)據(jù)分析的思路和想法，工具學(xué)習(xí)成本越低越好。
（a.我曾見到過的一個數(shù)據(jù)科學(xué)家，只會用Sql+excel做模型，他幫助公司收入增長了300%，3個億。注意只會sql+excel，但是他的分析思路和高度是我所佩服的；
b.我見到過太多太多python，學(xué)到一半沒有實際應(yīng)用場景而放棄的，也見到過學(xué)會了python入門，但不知道如何運用到工作因此浪費時間的。這里并不是指python不好，而是我建議先入門，入門之后，再根據(jù)業(yè)務(wù)場景去學(xué)語言工具，會python肯定是數(shù)據(jù)分析師的主流，但并不是入門的好工具。）

所以，我給大家的建議是：首先，大家應(yīng)該將精力集中于數(shù)據(jù)分析思路的培養(yǎng)和訓(xùn)練上，多去看一些商業(yè)數(shù)據(jù)模型和數(shù)據(jù)分析案例方面的資料，結(jié)合自己的工作場景和特點，形成自己的數(shù)據(jù)分析思路；

其次，學(xué)習(xí)一個上手最簡單的數(shù)據(jù)分析工具，利用已有的數(shù)據(jù)和自己的分析思路進行分析，形成看板或者結(jié)論；最后，重點鍛煉一下自己演講和PPT的制作能力。

要知道，一個優(yōu)秀的數(shù)據(jù)分析結(jié)論，也需要有好的演講者說服他的聽眾去接受，也需要有清晰的PPT把整個思想展示給閱讀者。畢竟，在這個時代，酒香也怕巷子深。

為什么我會這么建議大家呢？因為每件事情都是有成本的，而一旦有成本就意味著我們需要有收益。我們每一個人都不是萬能的，我們有自己的長處，也有自己的短板。我們在學(xué)習(xí)時，應(yīng)該結(jié)合自身的特點和情況，最快的從我們的付出中見到成效。

其實，對于并不在數(shù)據(jù)分析領(lǐng)域的同學(xué)來說，也許絕大多數(shù)人都沒有辦法成為一名數(shù)據(jù)科學(xué)家，但卻更有可能成為自己領(lǐng)域的大牛：一名優(yōu)秀的運營專家、產(chǎn)品經(jīng)理、HR、財務(wù)、銷售、咨詢顧問。讓數(shù)據(jù)分析成為你在自己職業(yè)發(fā)展中的一項助力，讓它更好的幫助到你本身的職業(yè)發(fā)展，也許才是學(xué)習(xí)數(shù)據(jù)分析的正確思路和定位。
最后，認清自己的優(yōu)勢和劣勢，明確自己職業(yè)發(fā)展的方向，選擇最適合自己的道路，做一個最好的自己，這才是每一個人最正確的選擇。

各位，如果覺得自己并不是對數(shù)據(jù)很有興趣，只是覺得多一個就業(yè)方向，那我建議大家學(xué)英語會更實際一點。