tar.gz格式的hadoop可以在windows使用吗？windows hadoop

tar.gz格式的hadoop可以在windows使用吗？

可以，但是是间接的，1.windows下的hadoop的分布部署主要有两种方式

1.1.采用cygwin模拟linux下命令的方式,部署安装hadoop系统.

1.2.修改系统的代码文件DF.java使其可以在windows下运行.

主要原因在于,在hadoop的代码中对数据节点的磁盘使用情况的获取采用了

linux下的df -k 命令进行获取

而在windows没有此命令支持,因此在数据节点启动DataNode时会产生启动进程异常错误.

解决的方法在

hadoop的网站上已说明

hadoop常用版本？

Hadoop各主流版本的介绍

Apache Hadoop2.0版本,有以下模块: Hadoop通用模块,支持其他Hadoop模块的通用工具集; Hadoop分布式文件系统(HDFS),支持对应用数据高吞吐量访问的分布式文件系统; Hadoop YARN,用于作业调度和集群资源管理的框架; Hadoop MapReduce,基于YARN的大数据并行处理系统。 Hadoop目前除了社区版,还有众多厂商的发行版本。

Cloudera:最成型的发行版本,拥有最多的部署案例;提供强大的部署、管理和监控工具。开发并贡献了可实时处理大数据的Impala项目。

Hortonworks:100%开源的Apache Hadoop唯一提供商。Hortonworks是第一家使用了Apache HCatalog的元数据服务特性的提供商。而且,他们的Stinger极大地优化了Hive项目。Hortonworks为人们提供了一个非常好的、易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干,这使得Apache Hadoop能够在包括Windows Servers和Windows Azure在内的Microsoft Windows平台上本地运行。

MapR:与竞争者相比,它使用了一些不同的概念,特别是为了获取更好的性能和

我已经成功在windows下配置了hadoop,启动成功后,利用jps命令,居然发现什么都没显示？

根据楼主的描述hadoop应该已经启来了。

jps是java的工具，能够显示系统当前运行的java程序及其进程号。

运行jps没有显示，应该是没有配置好系统的path、java_home和classpath。

执行hadoop fs -ls等同于hadoop fs -ls .该命令查看的是hdfs的/user/hadoop目录。而且默认是没有这个目录的。需要自己创建。

大数据技术需要什么配置的电脑？

1. 大数据技术需要一定配置的电脑。2. 因为大数据技术处理的数据量较大，需要有足够的计算能力和存储空间来进行数据处理和分析。此外，大数据技术还需要支持并行计算和分布式处理，因此需要一定的硬件配置来满足这些要求。3. 一般来说，大数据技术需要一台具备较高处理器性能、大内存容量和快速存储设备的电脑。例如，至少需要具备多核处理器、16GB以上内存和大容量硬盘或固态硬盘。此外，还需要支持高速网络连接和可靠的电源供应。如果需要进行更复杂的大数据处理任务，可能还需要更高配置的服务器或集群系统。

到此，以上就是小编对于Windows hadoop伪分布式搭建全过程的问题就介绍到这了，希望这4点解答对大家有用。