一种基于Spark计算的数据质量评估方法

打开文本图片集

[摘要] 本文设计一种基于Spark离线计算框架的数据质量评估方法，可以通过自定义划分数据集、指定多层级的质量计算规则，以实现高度自定义的定制化数据质量评估方法，为业务决策、技术方案优化、技术选型等提供数据支持。

[关键词]离线计算；大数据；数据质量；车联网

中图分类号：U463.6   文献标志码：A     文章编号：1003—8639（2023）07

A Data Quality Assessment Method Based on SparkComputing

Liang GuoHaoZhu MeiQing，Wei TongMing，Jiang XiangBin，Zhang Liang，

（SAIC GM Wuling Automoblie Co.，Ltd .，Guangxi Laboratory of New Energy Automobile，Guangxi Key Laboratory of Automobile Four New Features，Liuzhou Guangxi，545007，China）

[Abstract]

Keywords： offline computing； big data； data quality； Internet of Vehicles

收稿日期：2022-11-25

作者简介：梁国豪（1996—），男，助理工程师，研究方向为大数据处理、数据管理。（剩余3782字）