首页 > 论文范文 > 工程工业论文 > 轻工业论文 > 烟草工业论文 > 解析大数据环境下烟草行业的数据质量管理手段

解析大数据环境下烟草行业的数据质量管理手段

2020-05-14 807 上传者：管理员

摘要：随着信息科技的快速发展，大数据技术应用到各行业领域。在大数据环境下，烟草数据行业管理中利用大数据技术，可为企业决策提供可靠依据。本文简要介绍了大数据技术，分析当前烟草行业数据管理现状，探讨大数据环境下烟草行业数据质量管理。

关键词：
大数据技术
数据管理
烟草行业
烟草质量
加入收藏

烟草行业是国家税收的重要来源，发达国家烟草行业税率占总税率的50%左右。在烟草专卖政策下，我国烟草行业市场竞争并不激烈，随着中国烟草进出口零关税等政策实行，中国烟草行业进入国际化市场。中国烟草行业必将面临新一轮洗牌。未来一段时间内在中国烟草发展的关键期。随着烟草行业在市场经济中的发展，同行业间的竞争日益激烈。如何在激烈的国际市场竞争环境中占据优势地位是烟草企业关注的问题。加强质量管理，能够有效提升企业的竞争力。采用大数据技术进行行业发展现状与规律分析，监测质量管理，有利于提高企业管理水平，促进烟草企业可持续发展。

一、数据质量管理的含义

企业在信息化建设中，会面临数据质量管理的问题。不同企业，不同阶段的信息化建设中都会存在数据质量问题。何为数据质量？目前对此尚无统一定论，较为公认的是定义数据满足用户期望的程度，数据信息是企业发展重要的无形资产，低质量的数据会增运营成本加，企业开始采用系列观技术手段控制改进数据质量，随着企业信息功能的不断延伸，其原因为数据质量问题所致。用户关注的重点扩展至及时等性方面，数据集成项目逐渐暴露数据质量问题。涉及跨系统的集成项目，数据集成交换及共享中，逐渐暴露数据的一致性，完整性等方面的问题。数据集成项目不能修复数据，在分析决策时应降低对问题数据的依赖。很多大型企业认识到数据信息对企业发展的重要性，提高对数据管理的重视，随着烟草数据中心建设发展，数据质量问题日益暴露，本文在大数据背景下分析烟草行业的数据质量管理，为数据中心的数据质量改进提供科学的建设思路。

二、数据质量管理策略

数据质量管理主要关注的问题包括数据的准确性，一致性、可获取性等方面^[1]。是致力于企业数据环境质量的评估监控的系统过程。数据质量管理涉及的数据对象包括各种数据源，加工和消费相关的应用对象。数据质量问题的解决主要是企业输入数据提高数据质量的方法，及从应用程序中改善数据质量的方法。上游策略研究是应用程序的逻辑及流程。要求使用应用程序附带的数据质量功能。数据可根据需要随时修改，企业能在流程中改善数据质量，下游策略为目标应用程序改善数据质量，其实施过程更简单。

本文主要从技术观点看应从数据架构，数据模式与数据实例层面改进企业数据质量。重构建议采用基于SOA的继承构架，重设数据结构，统一数据管理解决共享数据的数据质量问题^[2]。数据清洗是事后提高数据质量技术，有些ETL工具自带很多有限的清洗能力，实践清洗工具功能包括自动填充缺失数据，逻辑错误检测，重复对象检测等。没有对数据清洗的统计方法，利用数据清洗技术开发工作量很大。因此烟草数据中心主要采用数据清洗处理。数据中心质量管理要通过技术与管理手段结合策略，进行数据质量持续改善优化。

通过数据质量管理的内容分析，通过技术手段可解决个别问题，但必须从管理方面入手才能解决数据质量问题。数据管理对管理手段依赖性更强，大多数据可通过技术手段改进，针对数据质量管理的特殊处理流程等方式支持数据质量的完善任务。数据标准化控制通过元数据管理，建立可重复的数据维护流程，解决实体数据质量^[3]。流程自动化，完成数据管理信息收集及数据问题处理。管理手段是建立专门的机构，配备管理人员，明确管理责任，建立数据质量管理规范。可以管理手段为主，优化数据质量管理问题。

三、数据质量管理技术手段

数据质量管理系统由信息收集、质量管理系统构成。信息采集构件收集质量管理所需的信息，包括统计摘要信息等粗粒度信息，粗粒度数据直接存储于对象摘要表中。数据对象包括数据库、OLAP数据立方体。信息中一些可以从日志文件中获取。信息对质量具有重要的意义。质量管理负责管理对象在完整性、及时性等质量度量方面应遵循的质量规则，规则可手工维护。质量管理构件管理数据质量，涵盖了数据的可获取性等质量度量。

质量规则管理构件应维护对每个违例预警级别等。数据诊断构件根据数据诊断任务，定时诊断数据质量。对准确性、关键一致性的诊断，记录问题样本。系统应支持手工与定时自动诊断，管理人员手工选择进行诊断对象，信息采集器重新采集样本数据，数据管理员配置好诊断规则，系统定时采集信息并记录诊断结果。

数据质量报告构件传递数据诊断结果信息，包括电子邮件、问题列表式网页等形式，模块主要根据系统采集信息自动生成质检报告。数据质量处理构件列出待处理问题。检查出问题形成相关质检报告，通知相关人员。质量问题处理根据报告提供问题信息分析问题原因。设计质量管理处理分为系统与人工处理，问题处理结束后，需记录总结问题处理全过程。根据需要不同分为数据事件与质量问题总结。

四、烟草行业信息化建设中存在的问题

烟草行业信息化建设应用系统彼此孤立，资源难以共享。具体表现在面向用户层面集成度不足，各系统间集成缺乏技术手段。信息系统数据资源缺乏有效的绩效管理手段。目前我国烟草企业通过R1平台实现了集成，但未实现数据集成，信息分析人员要获取数据需登陆不同的应用系统，各信息系统由不同的开发商部署，目前各不同信息系统间点对点进行接口开发集成方式，不能满足业务模式需求。

烟草企业信息系统的数据为分散存储在数据库中，信息为支撑业务的核心数据，但数据分布在不同系统中，数据的一致性可能存在问题。造成不同系统间查询同一目标有出入。烟草企业信息化建设中未进行系统的同一规划是其主要问题。其主要原因为缺乏长远规划，业务关注点分散等。烟草企业业务职能部门采用不同软件平台，造成系统集成困难。不同信息系统关注点分散在各部级，形成同一用户多套用户账号，不同界面风格，为用户在系统使用中增加了困难。

各信息系统数据标准不统一，造成统计不准确的问题。随着企业信息化建设发展，数据库技术迅速发展，企业积累了大量质量数据，有很多数据质量管理的环节，全球化竞争趋势使得企业地域范围变小，传统管理方法为企业生产的某个环节，无法满足大数据环境下的企业数据质量管理。企业迫切需寻求全新的管理方法。数据挖掘技术能发现数据项间的关系，通过对大量质量数据分析，最终降低废品率。聚类分析能发现产品质量特性的相似性，将成为质量管理提供有力的辅助工具。必须通过建设系统的数据中心，提供高效的数据服务。数据中心是管理思想的变革，烟草企业必须提高信息化水平，才能更好的满足市场不断发展的要求。

五、数据质量管理手段

（一）管理机制

数据质量的改进需要不断完善，需要不断改进流程，对数据进行整合。降低数据质量保证计划的总体开销。必须成立健全的组织机构，保障数据管理工作的有序开展。数据管理小组职责包括监控数据质量问题处理的流程，制定数据管理流程。以月例会的方式召开数据管理小组会议。每月评估数据中心系统数据质量状况。项目负责人支持数据管理部门协调工作。项目领导数据中心质量管理员开展数据管理工作，全面负责数据中心建设维护。数据管理员是小组的工作核心，必须指派专职的管理员。数据质量管理员的职责包括评估系统需求分析报告的正确性。监控数据中心数据的维护流程，保证维护工作的正确性。收集业务系统接口对数据管理系统的问题。数据指相关知识及培训流程。组织力量解决异常数据问题。业务系统收员负责监督管理相应业务系统建设，参与方案的评估。相关外部组织包括系统维护单位，实践中心系统需求单位等。

（二）管理流程

如何保证数据中心系统正常维护非常重要。常见数据质量问题包括需求变更控制流程，混色机质量问题处理流程，指标口径处理流程等。对需要手工整理的业务元数据，单独制定相应的流程。系统进入需求变更流程后，生成需求影响评估报告，提交元数据变更申请。判断数据质量问题节点，非内部问题由数据质量小组评估质量报告。各业务系统代表应提供实际情况，组确定问题根本原因。推动业务系统修改相应的系统，通知进入系统变更处理流程。处理指标口径问题需通过数据管理小组协调。数据管理小组包含各部门代表，管理员要求相关系统代表提供业务相关数据的定义系统因历史原因导致现有数据库数据错误，数据维护可采取适当的检查措施检验数据维护操作执行情况。

六、结语

21世纪是质量的世纪，如何加强数据质量管理，已成为烟草企业面临的首要问题。随着企业信息化建设的推进，企业发展中积累的数据大量增加。传统的统计分析方法无法满足企业快速发展的需求，数据挖掘提取隐含的潜在的有用信息。大数据技术应用于分析客户管理系统等数据领域。

参考文献：

[1]郭文卓,王子豪.烟草行业大数据资产管理[J].电子技术与软件工程,2018(20):167.

[2]柳海军.大数据背景下的烟草企业信息化战略布局分析[J].数字通信世界,2018(10):216.

[3]张程.大数据和数据挖掘技术在烟草经营管理中的应用[J].企业改革与管理,2017(20):55.

宋楠,仇道霞.烟草行业大数据环境下的数据质量管理[J].中国战略新兴产业,2020,(8):106-107.