CDH :安装ANACONDA并使用IPython

本文环境 CDH 5.7.0 CentOS 6.5

一、安装Anaconda

根据Anaconda官方文档进行安装

二、配置IPython

Anaconda 最新版为4.0 其Python版本为2.7 ，CentOS 6.5 为2.6，因此需要替换CentOS自带的Python。

ln -s /opt/cloudera/parcels/Anaconda/bin/python /user/bin/python

在driver host 设置以下环境

$ export PYSPARK_DRIVER_PYTHON=/opt/cloudera/parcels/Anaconda/bin/ipython
$ export PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.open_browser=False --NotebookApp.ip='*' --NotebookApp.port=8880"

在所有host上设置以下环境

$ export PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda/bin/python

启动

pyspark

在浏览器中打开[http://notebook_host:8880/](http://notebook_host:8880/)

三、参考

在CentOS 6.X 上面安装 Python 2.7.X