-
Notifications
You must be signed in to change notification settings - Fork 74
组件概览
quhongwei edited this page Mar 28, 2018
·
3 revisions
在金融机构,监管行之间常用的一种数据交换形式是文件。 这种文件一般是文本文件,文件以换行符分割数据, 一行数据的字段可以由分隔符分割,也可以是固定长度字节数的字段。文件中除了业务数据也可以有文件头文件尾, 文件的文件头一般包含一些汇总信息如总笔数,总金额,或者字段的描述信息等。我们把这种文件叫做结构化的数据文件。
大文件处理,对CPU、IO、网络消耗非常大,在集群环境下通过分片处理可以有效的解决单机瓶颈
Rdf-file组件设计用来在集群环境中处理这种结构化文件的通用组件
主要具备如下功能:
- 文件个性化参数配置
- 文件读
- 文件写
- 文件切分
- 文件合并
- 文件多存储操作
- 文件校验
- 文件排序
- 文件多协议(格式)支持
- 自定义文件协议
- 自动类型转换