資訊專欄INFORMATION COLUMN
摘要：在本地搭建好后，除了使用提交程序外，我們可以使用這個在本地進行開發(fā)調(diào)試提升我們的開發(fā)效率。配置過程也十分簡單，在上搜索到的。同時，加入插件后也可以使用開發(fā)程序，配置步驟一致。安裝步驟安裝配置打開，創(chuàng)建一個。
在本地搭建好Spark 1.6.0后，除了使用spark-submit提交Python程序外，我們可以使用PyCharm這個IDE在本地進行開發(fā)調(diào)試,提升我們的開發(fā)效率。配置過程也十分簡單，在stackoverflow上搜索到的。同時，IntelliJ IDEA加入Python插件后也可以使用Python開發(fā)Spark程序，配置步驟一致。
我的博客原文地址鏈接：http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html
0.安裝PyCharm和py4j我的系統(tǒng)環(huán)境（Ubuntu 14.04.4 LTS）
下載安裝最新版本的PyCharm，官網(wǎng)地址：https://www.jetbrains.com/pycharm/download/ 。
安裝步驟：
Unpack the pycharm-5.0.4.tar.gz using the following command: tar xfz pycharm-5.0.4.tar.gz
Run pycharm.sh from the bin subdirectory
安裝py4j：
$ sudo pip install py4j
打開PyCharm，創(chuàng)建一個Project。
然后選擇“Run” ->“Edit Configurations” ->“Environment variables”
增加SPARK_HOME目錄與PYTHONPATH目錄。
SPARK_HOME:Spark安裝目錄
PYTHONPATH:Spark安裝目錄下的Python目錄
運行一個小的Spark程序看看：
"""SimpleApp"""
from pyspark import SparkContext
logFile = "/home/tom/spark-1.6.0/README.md"
sc = SparkContext("local","Simple App")
logData = sc.textFile(logFile).cache()
numAs = logData.filter(lambda s: "a" in s).count()
numBs = logData.filter(lambda s: "b" in s).count()
print("Lines with a: %i, lines with b: %i"%(numAs, numBs))
運行結(jié)果：
Lines with a: 58, lines with b: 26
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/37777.html
摘要：因為作業(yè)要用到這個和就著手開始配置，但是搜了一圈還是發(fā)現(xiàn)了不少雷。如右上角所示，選擇。設(shè)置環(huán)境，創(chuàng)建和配置路徑如圖所示，都可以在安裝路徑下找到選擇你的右上角添加和的路徑這兩個文件都在中的文件夾下，自己找一下保存， 因為作業(yè)要用到這個SPARK和python, 就著手開始配置，但是搜了一圈還是發(fā)現(xiàn)了不少雷。就把我自己的解決辦法發(fā)上來： 打開pycharm,導(dǎo)入已有的或者新建工程。2.創(chuàng)建...
摘要：然而，每個人對編輯器的喜好各不相同，甚至引發(fā)出諸如神的編輯器與編輯器之神這種信仰之爭。我們用來寫的工具有兩類一種是被稱為的集成開發(fā)環(huán)境，它們?yōu)殚_發(fā)而生。但僅我上述提及的幾個其實也足夠用了。正如標題所說工欲善其事，必先利其器。 通常來說，每個程序員都有自己趁手的兵器： 代碼編輯器 。你要是讓他換個開發(fā)環(huán)境，恐怕開發(fā)效率至少下降三成。然而，每個人對編輯器的喜好各不相同，甚至引發(fā)出諸如神的編...
摘要：背景當多個項目且某些包無法兼容時，通常我們使用虛擬環(huán)境即可解決。但事實上不僅僅只能用于線上應(yīng)用部署，我們的開發(fā)調(diào)試環(huán)境也可以使用。 背景 當多個Python項目且某些包無法兼容時，通常我們使用虛擬環(huán)境即可解決。 但是在團隊中多個環(huán)境其實相對比較固定了，較少變更，如果換電腦或者新人加入需要重新一個一個配置虛擬環(huán)境并安裝相應(yīng)的包，會耗費很多時間，而且由于重新安裝的包依賴可能會有版本變更導(dǎo)致...
摘要：背景當多個項目且某些包無法兼容時，通常我們使用虛擬環(huán)境即可解決。但事實上不僅僅只能用于線上應(yīng)用部署，我們的開發(fā)調(diào)試環(huán)境也可以使用。 背景 當多個Python項目且某些包無法兼容時，通常我們使用虛擬環(huán)境即可解決。 但是在團隊中多個環(huán)境其實相對比較固定了，較少變更，如果換電腦或者新人加入需要重新一個一個配置虛擬環(huán)境并安裝相應(yīng)的包，會耗費很多時間，而且由于重新安裝的包依賴可能會有版本變更導(dǎo)致...
摘要：開發(fā)工具之最新安裝教程可以說是一款進行開發(fā)功能強大的編輯器。鑒于近期很少有關(guān)最新版本的安裝教程，為了能夠幫助剛剛學(xué)習(xí)的朋友們。另外一個是社區(qū)版可以進行純的開發(fā)，免費試用無需付費。 Python開發(fā)工具之Pycharm最新安裝教程 Pycharm可以說是一款進行Python開發(fā)功能強大的編輯器...
閱讀 2518·2019-08-29 13:53
閱讀 2573·2019-08-29 11:32
閱讀 3133·2019-08-28 17:51
閱讀 3953·2019-08-26 10:45
閱讀 3600·2019-08-23 17:51
閱讀 3068·2019-08-23 16:56
閱讀 3407·2019-08-23 16:25
閱讀 3230·2019-08-23 14:15
