1. 新行网首页
  2. 投稿

hbase删除数据的几种方式（hbase真正删除数据）

• 投稿 • 阅读 27

写流程

hbase删除数据的几种方式（hbase真正删除数据）

1）Client向HregionServer发送写请求；

2）HregionServer将数据写到HLog（write ahead log）。为了数据的持久化和恢复；

3）HregionServer将数据写到内存（MemStore）；

4）反馈Client写成功。

数据flush过程

1）当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据；

2）并将数据存储到HDFS中；

3）在HLog中做标记点。

数据合并过程

1）当数据块达到4块，Hmaster将数据块加载到本地，进行合并；

2）当合并的数据超过256M，进行拆分，将拆分后的Region分配给不同的HregionServer管理；

3）当HregionServer宕机后，将HregionServer上的hlog拆分，然后分配给不同的HregionServer加载，修改.META；

4）注意：HLog会同步到HDFS。

读流程

hbase删除数据的几种方式（hbase真正删除数据）

1）Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；

2）根据namespace、表名和rowkey在meta表中找到对应的region信息；

3）找到这个region对应的regionserver；

4）查找对应的region；

5）先从MemStore找数据，如果没有，再到StoreFile上读(为了读取的效率)。

hbase删除数据的几种方式（hbase真正删除数据）

Hmaster的职责

1）管理用户对Table的增、删、改、查操作；

2）记录region在哪台Hregion server上；

3）在Region Split后，负责新Region的分配；

4）新机器加入时，管理HRegion Server的负载均衡，调整Region分布；

5）在HRegion Server宕机后，负责失效HRegion Server 上的Regions迁移。

Hregionserver的职责

1）HRegion Server主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBASE中最核心的模块。

2）HRegion Server管理了很多table的分区，也就是region。

Client职责

1）HBASE Client使用HBASE的RPC机制与HMaster和RegionServer进行通信

2）管理类操作：Client与HMaster进行RPC；

3）数据读写类操作：Client与HRegionServer进行RPC。

原创文章，作者：admin，如若转载，请注明出处：https://www.qq65hfghe5.com/tg/21535.html

赞 (0)
上一篇 2024年11月2日 05:14:41
下一篇 2024年11月2日 05:16:31

相关推荐