-
Notifications
You must be signed in to change notification settings - Fork 74
文件切分
quhongwei edited this page Mar 28, 2018
·
1 revision
文件切分是指按大小将数据内容分片, 这里分片到行不会在行中间断开
分布式环境一般处理流程:
- 创建文件分片工具 FileSplitter splitter = FileFactory.createSplitter(config.getStorageConfig());
- 创建文件分片: (这里并没有真正对文件进行物理拆分)
FileSlice headSlice = splitter.getHeadSlice(config);
List slices = splitter.getBodySlices(config, 256);
FileSlice tailSlice = splitter.getTailSlice(config); - 将所有分片落成分片任务, 然后向集群分发分片任务
- 集群中机器拿到分片任务,根据分片数据范围处理数据
分片读参考分片读文档