亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

Python開發(fā)指南 托管Hadoop集群 UHadoop

ernest.wang / 3651人閱讀

摘要：開發(fā)指南開發(fā)指南開發(fā)指南如果使用進行機器學(xué)習(xí)方面的數(shù)據(jù)分析，需要在集群上安裝一些依賴包。以版本為例，安裝方法如下是一款專為科學(xué)和工程設(shè)計的工具包。以版本為例，安裝方法如下是下，專門面向機器學(xué)習(xí)的工具包。

developer/pythondev.md

Python開發(fā)指南

如果使用pyspark進行機器學(xué)習(xí)方面的數(shù)據(jù)分析，需要在集群上安裝一些python依賴包。這里將介紹常用的幾個依賴包的安裝方法。更多的依賴包下載及安裝，可以參考PyPI網(wǎng)站。

因為部分依賴包不支持2.6版本。所以，以下所有安裝均以Python2.7為例。建議將集群上的Python升級到2.7版本。

1. NumPy

NumPy一個用python實現(xiàn)的科學(xué)計算包，可用來存儲和處理大型矩陣，比Python自身的嵌套列表結(jié)構(gòu)要高效的多。

最新版NumPy可以在PyPI網(wǎng)站搜索到。

以numpy-1.12.0版本為例，安裝方法如下：

unzip numpy-1.12.0.zip
cd numpy-1.12.0
python setup.py install
2. SciPy

SciPy是一款專為科學(xué)和工程設(shè)計的Python工具包。

最新版SciPy可以在PyPI網(wǎng)站搜索到。

在安裝Scipy前，需要先安裝好NumPy。

以scipy-0.18.1版本為例，安裝方法如下：

tar zxf scipy-0.18.1.tar.gz
cd scipy-0.18.1
python setup.py install
3. Scikit-Learn

Scikit-Learn是SciPy下，專門面向機器學(xué)習(xí)的工具包。

最新版Scikit-Learn可以在PyPI網(wǎng)站搜索到。

在安裝Scikit-Learn前，需要先安裝好NumPy和Scipy。

以scikit-learn-0.18.1版本為例，安裝方法如下：

tar zxf scikit-learn-0.18.1.tar.gz
cd scikit-learn-0.18.1
python setup.py install
4. Sympy

SymPy是Python的數(shù)學(xué)符號計算庫，用它可以進行數(shù)學(xué)公式的符號推導(dǎo)。

最新版SymPy可以在PyPI網(wǎng)站搜索到。

以sympy-1.0版本為例，安裝方法如下：

tar zxf sympy-1.0.tar.gz
cd sympy-1.0
python setup.py install
5. Pandas

Pandas (Python Data Analysis Library)是基于NumPy的解決數(shù)據(jù)分析任務(wù)的一種工具。

最新版Pandas可以在PyPI網(wǎng)站搜索到。

以pandas-0.19.2版本為例，安裝方法如下：

tar zxf pandas-0.19.2.tar.gz
cd pandas-0.19.2
python setup.py install
6. Matplotlib

Matplotlib是Python常用的繪圖庫，它提供了一整套和matlab相似的命令A(yù)PI，十分適合交互式地進行制圖。

最新版Matplotlib可以在PyPI網(wǎng)站搜索到。

以matplotlib-2.0.0版本為例，安裝方法如下：

yum install libpng-devel libpng -y
tar zxf matplotlib-2.0.0.tar.gz
cd matplotlib-2.0.0
python setup.py install
7. MySQLdb

MySQLdb是Python提供的連接MySQL的接口。

最新版MySQLdb可以在PyPI網(wǎng)站搜索到。

以MySQL-python-1.2.5版本為例，安裝方法如下：

yum install python-pip python-devel mysql-devel zlib-devel openssl-devel -y
unzip MySQL-python-1.2.5.zip
cd MySQL-python-1.2.5
python setup.py install

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/126892.html

相關(guān)文章

  • 托管Hadoop集群 快速上手 UHadoop

    摘要：也可以將托管集群設(shè)置為快捷方式，通過左側(cè)快捷方式菜單欄點擊進入。框架集群中僅部署。用于做存儲集群，有專屬的節(jié)點機型。節(jié)點管理節(jié)點，負責(zé)協(xié)調(diào)整個集群服務(wù)。目前僅節(jié)點支持綁定。通過云主機內(nèi)網(wǎng)進行登錄。登錄密碼為集群創(chuàng)建時設(shè)置的密碼。 快速上手本篇目錄創(chuàng)建集群提交任務(wù)本文檔將帶領(lǐng)您如何創(chuàng)建UHadoop集群，并使用UHadoop集群完成數(shù)據(jù)處理任務(wù)。創(chuàng)建集群本章簡單介紹了用戶使用UHadoop服務(wù)...

    ernest.wang 評論0 收藏295

  • Python 托管Hadoop集群 UHadoop

    Python如何為Python安裝新的庫？1.yum安裝可以使用yum search命令來查找具體的包名稱 請確認ucloud源上的版本是否和預(yù)期的版本一致 2.pip安裝如果本地源上面沒有，yum和pip都可以通過設(shè)置代理來通過有外網(wǎng)權(quán)限的機器來下載參考yum設(shè)置代理和pip設(shè)置代理3.源碼安裝可以在PyPI網(wǎng)站搜索需要的依賴包。下載后解壓，并執(zhí)行python setup.py install來...

    ernest.wang 評論0 收藏2223

  • Hue開發(fā)指南 托管Hadoop集群 UHadoop

    摘要：創(chuàng)建任務(wù)創(chuàng)建任務(wù)選擇這個標(biāo)簽拖動到中。頁面權(quán)限控制頁面權(quán)限控制頁面權(quán)限控制點擊管理用戶組選擇要修改的組名稱，設(shè)置相應(yīng)權(quán)限并保存 Hue開發(fā)指南本篇目錄1. 配置工作流2. Hue頁面權(quán)限控制Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運行和開發(fā) Hive 查詢、管理 HDFS 中的文件、運行和開發(fā) Pig 腳本以及管理表。服務(wù)默認已經(jīng)啟動，用戶只需要配置外網(wǎng)IP，在防火墻中配...

    ernest.wang 評論0 收藏1340

  • 元數(shù)據(jù)管理 托管Hadoop集群 UHadoop

    摘要：架構(gòu)架構(gòu)元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理創(chuàng)建集群時可在控制臺開啟元數(shù)據(jù)獨立管理。若項目中已開啟過元數(shù)據(jù)獨立管理，則新集群開啟該功能時，不再創(chuàng)建新的，而是將新集群的元數(shù)據(jù)存儲于已有的中。 元數(shù)據(jù)管理本篇目錄介紹產(chǎn)品架構(gòu)元數(shù)據(jù)管理介紹UHadoop 支持將 Hive-Metastore 的數(shù)據(jù)庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數(shù)據(jù)庫，可在控制臺對其做管理。產(chǎn)品...

    ernest.wang 評論0 收藏2953

  • 常用操作 托管Hadoop集群 UHadoop

    摘要：查看上的歷史日志查看上的歷史日志任務(wù)的日志在任務(wù)運行結(jié)束之后會上傳到上，當(dāng)日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執(zhí)行 常用操作本篇目錄應(yīng)用的Web接口查看日志配置NFS掛載hdfs到本地應(yīng)用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務(wù)會在主節(jié)點上運行（Active NameNode或...

    ernest.wang 評論0 收藏1142

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<