CDH :安装ANACONDA并使用IPython
Hadoop
2019-06-12
1059
0
本文环境 CDH 5.7.0 CentOS 6.5
一、安装Anaconda
根据Anaconda官方文档进行安装
二、配置IPython
Anaconda 最新版为4.0 其Python版本为2.7 ,CentOS 6.5 为2.6,因此需要替换CentOS自带的Python。
ln -s /opt/cloudera/parcels/Anaconda/bin/python /user/bin/python在driver host 设置以下环境
$ export PYSPARK_DRIVER_PYTHON=/opt/cloudera/parcels/Anaconda/bin/ipython $ export PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.open_browser=False --NotebookApp.ip='*' --NotebookApp.port=8880"在所有host上设置以下环境
$ export PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda/bin/python启动
pyspark在浏览器中打开[http://notebook_host:8880/](http://notebook_host:8880/)
三、参考
0条评论