spark40电脑怎么用?(hadoop 3.0在windows)

2023-12-27 42阅读

spark40电脑怎么用?

一,在用python编辑spark时,需要在windows本地搭建一套spark环境,然后将编辑好的.py上传到hadoop集群,再进行调用;

spark40电脑怎么用?(hadoop 3.0在windows)(图片来源网络,侵删)

二,在应用spark进行机器学习时,更多时候还是在windows环境下进行会相对比较方便。

组件准备:

1、Python3.6.7

spark40电脑怎么用?(hadoop 3.0在windows)(图片来源网络,侵删)

2、JDK(本文中使用JDK1.8)

3、Scala(Scala-2.12.8)

4、Spark(spark-2.4.5-bin-hadoop2.7.gz)

spark40电脑怎么用?(hadoop 3.0在windows)(图片来源网络,侵删)

5、Hadoop(Hadoop 2.7)

到此,以上就是小编对于的问题就介绍到这了,希望这1点解答对大家有用。

文章版权声明:除非注明,否则均为游侠云资讯原创文章,转载或复制请以超链接形式并注明出处。

目录[+]