分布式元數據系統的設計與實現
電子技術應用
郭志超1，張叢旭1，劉曉鵬1，劉瑞2，焦冬冬1
（1.華北計算機系統工程研究所，北京 100083；2.中國人民解放軍航天工程大學士官學校，北京 102299）
摘要： 隨著企業業務發展以及業務數據的不斷積累，數據類型參差不齊，海量數據越來越難以處理。元數據系統作為提升數據質量和數據分析的平臺應運而生。元數據現已成為數據倉庫以及商業智能的核心，各個廠商針對元數據系統提出了自己的解決方案。現有解決方案目前對業務數據的更新操作支持不足。針對當前元數據系統面臨的隨著業務數據的增加，元數據系統快速擴展支持不夠，造成數據無法及時處理，以及針對元數據修改無法同步更新到業務數據中，導致元數據和業務數據不同步的問題，提出一種分布式元數據解決方案，支持系統橫向擴展，同時支持通過元數據操作，反向控制業務數據。通過元數據操作，支持業務生成。
中圖分類號：TP311.5
文獻標志碼：A
DOI: 10.16157/j.issn.0258-7998.223662
中文引用格式： 郭志超，張叢旭，劉曉鵬，等. 分布式元數據系統的設計與實現[J]. 電子技術應用，2023，49(6)：84-88.
英文引用格式： Guo Zhichao，Zhang Congxu，Liu Xiaopeng，et al. Design and implementation of distributed metadata system[J]. Application of Electronic Technique，2023，49(6)：84-88.
文獻標志碼：A
DOI: 10.16157/j.issn.0258-7998.223662
中文引用格式： 郭志超，張叢旭，劉曉鵬，等. 分布式元數據系統的設計與實現[J]. 電子技術應用，2023，49(6)：84-88.
英文引用格式： Guo Zhichao，Zhang Congxu，Liu Xiaopeng，et al. Design and implementation of distributed metadata system[J]. Application of Electronic Technique，2023，49(6)：84-88.
Design and implementation of distributed metadata system
Guo Zhichao1，Zhang Congxu1，Liu Xiaopeng1，Liu Rui2，Jiao Dongdong1
(1.National Computer System Engineering Research Institute of China， Beijing 100083， China； 2.PLA Aerospace Engineering University Non commissioned Officer School，Beijing 102299，China)
Abstract： With the development of enterprise business and the continuous accumulation of business data, data types are uneven, and massive data is becoming more and more difficult to handle. The metadata system emerged as a platform to improve data quality and data analysis. Metadata is now at the heart of data warehouses and business intelligence, and vendors have come up with their own solutions for metadata systems. Existing solutions currently do not support the operation of updating business data. In view of the increase in business data faced by the current metadata system, the lack of rapid expansion support, the inability to process data in time, and the problem that metadata modification cannot be synchronized and updated to business data, resulting in metadata and business data being out of synchronization, this paper provides a distributed metadata solution that supports horizontal expansion of the system and supports reverse control of business data through metadata operations. Support business generation through metadata operations.
Key words : metadata system；distributed system；multi data source access；application generation
0 引言
隨著當今信息技術的飛速發展以及互聯網技術的迅速普及，計算機技術正深刻影響著人們的生活方式。隨著企業的業務擴展以及業務歷史數據的不斷積累，業務數據種類越來越繁雜，數據量也越來越大。需求變化大，導致開發速度趕不上需求的變化速度，企業數據處理的挑戰越來越大。
元數據系統作為提升數據質量和數據分析的平臺應運而生。當前元數據系統，主要針對特定的元數據進行管理，對于通用元數據的接入表現一般。對于元數據的更新操作，很難同步更新業務數據，導致元數據和業務數據不一致的問題，需要業務人員手動修改業務數據適配修改后的元數據。此舉產生大量的工作量，容易產生業務人員的錯誤修改導致業務數據與元數據不同步的問題。另一個問題是當前元數據系統針對業務數據激增，導致系統資源不足，無法做到靈活擴展，造成數據處理不及時，甚至無法處理的問題。針對當前元數據系統存在的不足，本文提出如下設計方案.
本文詳細內容請下載：http://www.jysgc.com/resource/share/2000005354
作者信息：
郭志超1，張叢旭1，劉曉鵬1，劉瑞2，焦冬冬1
（1.華北計算機系統工程研究所，北京 100083；2.中國人民解放軍航天工程大學士官學校，北京 102299）
此內容為AET網站原創，未經授權禁止轉載。