linux创建pyspark虚拟环境

2024-01-07 21:50:09

一、创建虚拟环境

conda create -n test python=3.6.6

二、注意添加镜像

vi /root/.condarc
channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - http://mirrors.ustc.edu.cn/anaconda/pkgs/main/
  - http://mirrors.ustc.edu.cn/anaconda/pkgs/free/
show_channel_urls: true
ssl_verify: true

三、安装pyspark

pip install pyspark==3.2.0 -i https://pypi.doubanio.com/simple/

四、安装其他包

pip install numpy==1.19.0 -i https://pypi.doubanio.com/simple/
pip install matplotlib==3.3.3 -i https://pypi.doubanio.com/simple/
pip install scikit-learn==0.24.2 -i https://pypi.doubanio.com/simple/
pip install pytz
pip install pandas==1.1.5 -i https://pypi.doubanio.com/simple/

五、Web? ui 页面

六、提交一个任务

${SPARK_HOME}/bin/spark-submit \
--master local[2] \
${SPARK_HOME}/examples/src/main/python/pi.py \
10

python闲聊Q群：768615042

文章来源:https://blog.csdn.net/weixin_42830697/article/details/135334632
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。