您好,欢迎来到纷纭教育。
搜索
您的当前位置:首页hadoop运作原理详解

hadoop运作原理详解

来源:纷纭教育
 www.oldboyedu.com 老男孩IT教育,只培养技术精英

hadoop运作原理详解

Hadoop主要是分布式计算和存储的框架,其工作过程主要依赖于HDFS分布式存储系统和Mapreduce分布式计算框架,以下是其工作过程:

阶段 1

用户/应用程序可以通过指定以下项目来向Hadoop(hadoop作业客户端)提交作业以获取所需的进程:

分布式文件系统中输入和输出文件的位置。

java类以jar文件的形式包含map和reduce函数的实现。 通过设置作业的不同参数来配置作业。 阶段 2

Hadoop作业客户端然后将作业(jar /可执行文件等)和配置提交给JobTracker,JobTracker然后承担将软件/配置分发给从属的责任,Hadoop作业客户端然后将作业(jar /可执行文件等)和配置提交给JobTracker,JobTracker然后承担将软件/配置分发给从属的责任,

阶段 3

不同节点上的TaskTracker根据MapReduce实现执行任务,reduce函数的输出存储在文件系统上的输出文件中。

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- fenyunshixun.cn 版权所有 湘ICP备2023022495号-9

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务