mssql 空值 智能 ETL（Smart ETL）数据编辑

本文将为您介绍Smart ETL的数据编辑的功能说明与具体操作。

1. 筛选数据行

功能说明：在实际业务场景中，源数据存在大量的脏数据，或者分析数据只需要部分数据时，可以通过“筛选数据行”操作符来实现。

具体操作：点击“添加”按钮可以进行条件设置，而且当筛选条件为多条时可以设置触发条件为“满足所有规则”或“满足任意规则”。筛选条件逻辑可包括“等于”、“不等于”、“包含”等等，并且可以对Null值进行删除处理。

过滤规则不仅可以设定为针对固定值的逻辑条件筛选，还可以在列和列之间设置逻辑条件筛选。

2. 数据去重

功能说明：对数据进行去重，可以对单列或多列进行去重转换，如图mssql 空值，添加需要去重的列即可。

配置说明：通常使用输入数据集的主键作为去重列（主键：表中的一个或多个字段，它的值用于唯一地标识表中的某一条记录，例如：会员编号、商品编号、销售单据编号等）。

去重前预览：

如图可以看到，去重前数据集存在重复数据。

点击添加勾选目标字段进行去重，通常使用输入数据集的主键作为去重列，这里按照商品名称——门店名称——日期来确定唯一一条数据。

去重效果如上图所示。

3. 值替换

功能说明：该操作符可以对数据集的某一具体值进行替换。

替换前预览：

具体操作：

a. 选择需要做值替换的列（确定列）。

b. 设置替换结果写入方式（覆盖原始列的值、新建列）。

c. 设置不满足替换规则的值（使用原有的值、使用一个默认值）。

4. Null值替换

功能说明：该操作符可以对数据集的Null值进行批量处理。

配置说明：含Null值的文本默认替换为空、含Null值的数值默认替换为0，也可以自定义替换的内容。

替换前预览：

替换后结果：

备注：同样的功能，通过“值替换”操作符也可以实现，但替换数值多个就需要多个操作符。

5. 高级功能5.1 数据探查

功能说明：在 Smart ETL（后文统一简称为 ETL）开发过程中，要时常查看数据集的统计信息，如：数据行数、某个字段的唯一值个数、Null 值个数等，对于这些信息往往需要进行“筛选数据行”、“分组聚合”等多种操作进行人工配置，为简化处理流程，观远数据近期在 ETL 中新增“数据探查”操作，可一次性输出数据集统计信息，提高数据处理效率。

具体操作：进入ETL编辑界面，左侧操作栏中在“高级计算”分类下方找到“数据探查”，拖入编辑界面，将相关的数据处理操作符连接到“数据探查”，点击后进行设置。

勾选需要统计的数据集信息，表级别支持统计数据集的行列数；字段级别，首先选择需要统计的字段，支持统计一个字段的 Null 值个数、唯一值个数、枚举值（最多展示200个枚举值）；点击编辑区域下方“查询”，查看数据集统计信息。

5.2 SQL输入

“SQL输入“节点，能够帮助习惯使用SQL语句的数据分析人员能够通过SQL输出数据集，缩短了配置流程。

为了帮助ETL访问者更加清晰明了地查看详细信息，ETL中的“SQL输入”、“新建计算字段”算子的字段表达式内容支持外部展示。

使用说明

针对“SQL输入”、“新建计算字段”算子，支持将编辑的信息直接展示在节点详情。

5.3 关联性挖掘

“关联性挖掘”算子，能够帮助数据分析人员快速实现关联挖掘算法，找到数据内不同项目间有高关联性的项目。（此功能为付费模块，默认不开放，如需体验或购买，请联系观远数据商务人员）

5.4 AI 预测

AI预测能够接入历史数据，配置日期字段、预测指标，以及指标聚合维度（日/周/月/季度/年）和预测周期数，实现预测。（此功能为付费模块，默认不开放，如需体验或购买，请联系观远数据商务人员）

5.5 智能对标

“智能对标”算子，能够让用户指定分类主体、指定相关分类特征以及相邻主体数量后，可自动获取该每个主体（门店）的对比项（对比门店），以列表形式展示。（此功能为付费模块，默认不开放，如需体验或购买，请联系观远数据商务人员）

（编辑：拼字网 - 核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!