Yige

MapReduce 的主要思想：自动将一个大的计算程序拆分成 Map（映射）和 Reduce（化简）, 分冶思想 流程概括 input --> map --> shuffle -->reduce --->output Map 端流程 Map: 自定义 Map 函数处理数据…

一、HDFS 的启动过程 加载文件的元信息 加载日志文件 设置检查点 进入安全模式。作用是：检查数据块的副本率，冗余度是否达到要求 二、HDFS 的运行机制 用户文件会被切块后存储在多台 DataNode 服务器当中，并且每个文件在整个集群中存放多个副本…