抱歉,您的浏览器无法访问本站

本页面需要浏览器支持(启用)JavaScript


了解详情 >
image

本节目标:

  • HDFS 是如何实现有状态的高可用架构
  • HDFS 是如何从架构上解决单机内存受限问题的
  • 揭秘 HDFS 能支撑亿级流量的核心源码设计
Hadoop HDFS
Hadoop HDFS

HDFS1 是一个 主从式 架构, 主节点只有一个叫 NameNode. 从节点有多个叫 DataNode

image

1. HDFS1 架构

image

1.1 HDFS1 架构缺陷

  1. 单点故障问题
  2. 内存受限问题

1.2 单点故障 Solution

HDFS
HDFS

1.3 内存受限 Solution

HDFS
HDFS

2. HDFS2 结构

Solution HDFS1 Question
HA 方案 (High Avaiable) 解决 HDFS1 Namenode 单点故障问题
联邦方案 解决了 HDFS1 内存受限问题

3. HDFS3

  • HA 方案支持多个 Namenode
  • 引入纠删码技术

思考:

因为 NameNode 管理了元数据, 用户所有的操作请求都要操作 Namenode, 大一点的平台一天需要运行几十万上百万的任务。一个任务就会有很多个请求,这些所有的请求都打到 Namenode 这儿 (更新目录树), 对于 Namenode 来说这就是亿级的流量. Namenode 是如何支撑亿级流量的呢?

Reference