spark40电脑怎么用?(hadoop 3.0在windows)
spark40电脑怎么用?
一,在用python编辑spark时,需要在windows本地搭建一套spark环境,然后将编辑好的.py上传到hadoop集群,再进行调用;
(图片来源网络,侵删)二,在应用spark进行机器学习时,更多时候还是在windows环境下进行会相对比较方便。
组件准备:
1、Python3.6.7
(图片来源网络,侵删)2、JDK(本文中使用JDK1.8)
3、Scala(Scala-2.12.8)
4、Spark(spark-2.4.5-bin-hadoop2.7.gz)
(图片来源网络,侵删)5、Hadoop(Hadoop 2.7)
到此,以上就是小编对于的问题就介绍到这了,希望这1点解答对大家有用。
文章版权声明:除非注明,否则均为游侠云资讯原创文章,转载或复制请以超链接形式并注明出处。