文件输入 file
从文件中读取
class参数配置为file.FileDocReader
示例:
company_name: # 名称(自定义)
class: file.FileDocReader
init:
path: "hdfs://hdp-nn-001:8020/user/data/digest_company_name/"
formater: company_name_digest
pattern: "*.gz"
- path:文件路径,支持hdfs、ftp和本地文件
- formater: 格式化处理器
-
pattern: 文件名匹配模式。比如
*.py
匹配.py结尾的文件,*.gz
匹配.gz格式压缩文件