基于数据湖的实时数据管理平台设计与实现

打开文本图片集

摘要：文章在传统DCS实时数据采集系统中，采用双实时库解决采集数据的实时传输与存储问题，同时基于数据湖架构，替换原有的关系型数据库，以实现多源复杂结构海量数据的存储，并通过微服务架构，提供应用层使用数据，以更好地解决实时数据的管理问题。

关键词：数据湖；实时数据管理；微服务

doi：10.3969/J.ISSN.1672-7274.2023.01.004

中图分类号：TP 391.41               文献标示码：B               文章编码：1672-7274（2023）01-00-03

Design and Implementation of Real-time Data Management Platform Based on Data Lake

QIU Kuan

（Shenzhen Branch of CNOOC Information Technology Co.， Ltd.， Shenzhen 518000， China）

Abstract： This paper uses dual real-time databases to solve the problem of real-time transmission and storage of collected data. At the same time， based on the data lake architecture， it replaces the original relational database to realize the storage of massive data with multi-source complex structure. Through the microservice architecture， it provides application layer usage data to better solve the problem of real-time data management.

Key words： data lake; real time data management; microservice

1  研究背景

在生产企业中，基于DCS控制系统对各设备端数据进行采集、存储以及处理已经成为企业提高生产效率的重要手段。（剩余3556字）