第 4 章 HDFS 的读写流程

客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode,然后,客户端按顺序将文件逐个block传递给相应datanode,并由接收到block的datanode负责向其他datanode复制block的副本 客户端将要读取的文件路径发送给namenode,namenode获取文件的元信息(主要是block的存放位置信息)返回给客户端,客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件


02_尚硅谷大数据技术之 Hadoop(入门)

尚硅谷大数据技术之 Hadoop(入门)(作者:尚硅谷大数据研发部)版本:V3.3第 1 章 Hadoop 概述1.1 Hadoop 是什么1) Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2) 主要解决,海量数据的存储和海量数据的分析计算问题。3) 广义上来说,Hadoop