hadoop常用版本？
Hadoop各主流版本的介绍
Apache Hadoop2.0版本,有以下模块: Hadoop通用模块,支持其他Hadoop模块的通用工具集; Hadoop分布式文件系统(HDFS),支持对应用数据高吞吐量访问的分布式文件系统; Hadoop YARN,用于作业调度和集群资源管理的框架; Hadoop MapReduce,基于YARN的大数据并行处理系统。 Hadoop目前除了社区版,还有众多厂商的发行版本。
Cloudera:最成型的发行版本,拥有最多的部署案例;提供强大的部署、管理和监控工具。开发并贡献了可实时处理大数据的Impala项目。
Hortonworks:100%开源的Apache Hadoop唯一提供商。Hortonworks是第一家使用了Apache HCatalog的元数据服务特性的提供商。而且,他们的Stinger极大地优化了Hive项目。Hortonworks为人们提供了一个非常好的、易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干,这使得Apache Hadoop能够在包括Windows Servers和Windows Azure在内的Microsoft Windows平台上本地运行。
MapR:与竞争者相比,它使用了一些不同的概念,特别是为了获取更好的性能和
spark40电脑怎么用？
一，在用python编辑spark时，需要在windows本地搭建一套spark环境，然后将编辑好的.py上传到hadoop集群，再进行调用；
二，在应用spark进行机器学习时，更多时候还是在windows环境下进行会相对比较方便。
组件准备：
1、Python3.6.7
2、JDK（本文中使用JDK1.8）
3、Scala（Scala-2.12.8）
4、Spark（spark-2.4.5-bin-hadoop2.7.gz）
5、Hadoop（Hadoop 2.7）
到此，以上就是小编对于hadoop配置windows的问题就介绍到这了，希望介绍的2点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。
微信扫一扫打赏
