产品
一站式数据治理平台
DDM 数据模型管控平台
模型设计与管理一体化工具,实现从源头治理数据
DAM 数据资产管理平台
自动盘点企业数据资产,发现数据质量问题。
DDC 数据资产目录平台
指导资产目录搭建,为企业构建数据资产门户
DDS 数据安全管理平台
通过AI算法、自动识别等手段进行数据资产的分类分级
数据治理工具 Tools
DDM Archy 数据架构工具
架构资产管理工具,依托于DDM的基础建模能力,对架构资产,进行专项设计和管理
Datablau SQLink 血缘解析工具
高度自动化,简单易用的分析SQL语句并发现其中的数据血缘关系的可视化分析软件
Datablau D3 数据开发管理工具
数据治理贯彻自始至终,让数据开发更规范,更可控,更敏捷、质量更高。
Demo 演示
在线血缘解析
产品免费试用
服务
实施与咨询服务
数据治理轻咨询服务,在数据治理现有成果的基础上,围绕数据治理的落地实施,为企业数据治理的常态化运营提供能力支撑。
企业内训
根据大中型企业数据治理的实际情况和行业特性,制定的个性化和定制化的培训课程,帮助企业解决实际问题。
解决方案
通用解决方案
数据安全与合规解决方案
数据资产管理与服务解决方案
数据中台综合解决方案
数据模型管理解决方案
数据治理综合解决方案
行业解决方案
银行业
保险行业
基金行业
制造行业
汽车行业
标杆案例
生态合作
项目交付生态合作
以Datablau产品/解决方案为核心,为客户提供项目实施交付及技术服务支持的合作伙伴
渠道销售合作
经授权向客户出售Datablau的产品/解决方案/服务的销售代理商
校企合作
产教融合,联合培育高阶数据人才的高校合作伙伴
资料中心
AI智能小数
关于我们
了解Datablau
企业简介
招贤纳士
联系我们
Datablau动态
新闻动态
干货文章
400-6033-738
免费试用
以技术驱动 打造世界级数据治理产品
免费试用
Datablau荣获2023年DAMA数据治理优秀产品奖
免费试用
银行业数据治理解决方案,全面赋能数智化建设
免费试用
Datablau 一站式数据治理平台
DDM
数据模型管控平台
标准落标
模型管控
模型设计
协作共享
免费试用
查看详情
DAM
数据资产管理平台
元数据管控
基础标准管理
指标标准管理
数据血缘与图谱
免费试用
查看详情
DDC
数据资产目录平台
数据资产目录
数据资产门户
数据资产搜索引擎
数据服务
免费试用
查看详情
DDS
数据安全管理平台
智能数据分类分级
访问权限设置
数据安全网关
数据静态脱敏
免费试用
查看详情
以业务驱动,构建智能数据资产生态管理
免费试用
适配行业和业务的数据治理解决方案
通用解决方案
数据安全与合规解决方案
查看详情
数据资产管理与服务解决方案
查看详情
数据中台综合解决方案
查看详情
数据模型管理解决方案
查看详情
数据治理综合解决方案
查看详情
行业解决方案
银行
保险
基金
制造
汽车
打造智能化数据治理服务,重塑银行数智化竞争新优势
银保监对金融机构数据治理工作尤为重视,发文《银行业金融机构数据治理指引》,要求银行业金融机构将数据治理纳入公司治理范畴,并将数据治理情况与公司治理评价和监管评级挂钩。
获取方案
全面推进保险业数字化转型,推动金融高质量发展
有效促进行业提升信息化程度、风险管控能力、行业治理水平和服务实体经济能力,从而提升保险行业整体竞争力。
获取方案
基金行业数据治理探索与实践
深入贯彻落实党的二十大精神,引导基金行业机构践行《证券期货业科技发展“十四五”规划》,共促基金行业数字化转型
获取方案
智慧制造 — 制造行业一站式数据治理平台
制造企业积累的数据资产越来越多,急需一套数据治理解决方案来帮助企业降低工业化生产成本,实现企业信息一体化管理。
获取方案
汽车行业数据治理解决方案
只有对数据进行有效的、高质量的治理,才能尽早发现数据的问题、提高数据质量、发挥数据价值、提升经营管理能力,在汽车数字化竞争中赢得先机。
获取方案
200+
TOP企业的共同选择
生态合作伙伴
诚邀有渠道优势、项目交付优势的合作伙伴,整合资源,合作共赢,共同打造数字化应用生态体系
成为生态合作伙伴
项目交付
查看详情
渠道代理
查看详情
校企合作
查看详情
让数据治理真正改变企业数据应用能力
免费试用
Datablau 动态
公司动态
干货文章
春日奋进,Datablau中标喜讯纷至沓来~
实干创佳绩,奋斗铸辉煌。近期,Datablau数语科技再传喜讯,凭借丰富的项目经验,雄厚的产品实力和良好的市场口碑,顺利中标北银理财、比亚迪、五矿证券、金光纸业、光大理财等多个数据治理项目。在数字化时代下,数据治理作为确保数据质量、保障数据安全、提升数据价值的关键环节,其重要性日益凸显。Datablau数语科技作为一家产品创新型公司,始终致力于以数据驱动运营,以Datablau新一代数据治理平台为依托,凭借在数据治理领域多年沉淀的技术能力和服务能力,为签约客户提供高效、稳定、安全的平台支撑,持续为企业数字化转型赋能。至今,Datablau已经服务了金融、制造、能源、物流、零售等领域的200多家大中型企业,标杆客户包括建设银行、华为、中国人寿、国家电网等,产品和服务深受客户一致好评。未来,Datablau将继续帮助更多企业落地数据治理最佳实践,助推动数字化转型之路。
Datablau证券数据资产智能识别知识库获北京国际大数据交易所登记
近日,Datablau的行业知识图谱成功获得了北京国际大数据交易所颁发的数据资产登记凭证,这一里程碑式的成就标志着数语的数据资产已经得到了大数据交易所的充分价值认可。 这一重要资质认证的取得,不仅标志着Datablau证券行业数据资产智能识别知识库的管理体系和数据质量得到了权威机构的认可,也意味着其在数据资产管理和保护方面所付出的努力和取得的成果。这意味着Datablau的知识库在数据质量和合规性方面得到了认可,并被视为合法可用的数据资产。 随着数据资产在证券行业中的地位日益重要,Datablau证券行业数据资产智能识别知识库利用先进的人工智能和机器学习技术,对证券行业数据进行全面而精准的识别和处理。通过这一登记凭证,Datablau的知识库进一步增强了其数据质量和可信度,为用户提供了更高质量的证券行业数据服务。为了积极响应财政部发布的《企业数据资源相关会计处理暂行规定》,Datablau正在考虑将这一宝贵的数据资产以及更多沉淀的数据资产纳入财务报表,以展示其无可估量的价值。 Datablau数据治理平台,凭借其智能数据资产盘点与智能数据安全分类分级功能,深受企业青睐。而这两大功能背后的秘诀,正是Datablau梳理的行业知识图谱。这一图谱的构建,倾注了数语科技资深咨询顾问们数月的辛勤努力,他们以深厚的行业业务理解为基础,精心打造而成。这份宝贵的行业知识图谱,不仅赋予了Datablau数据治理平台强大的智能分析能力,更为企业提供了一个数据安全与效率并重的有力保障。
再添佳绩|Datablau再迎一波签约捷报!
营销奋进正当时。近期,Datablau市场开拓捷报频传,再迎新一波签约捷报!顺利签约中国航信、浙江中控、国信证券、华安基金、上海新能源汽车公共数据采集与监测研究中心等多个大型数据治理项目,满弓紧弦冲刺年末“收官之战”。Datablau将依托在数据治理领域多年积淀的技术能力和服务能力,为签约客户提供高效、稳定、安全的平台支撑,持续为企业数字化转型赋能。多年来,Datablau在技术和产品上不断迭代与突破,从深耕对数据极为敏感的金融行业并沉淀了建设银行、中金、泰康等多家重点标杆金融客户,到目前将服务行业扩展至制造、能源、零售、物流、地产等10+行业,Datablau始终立足市场需求,未来将继续以更优质的产品和解决方案为更多行业的客户提供全方位的数据治理技术和服务支持。
日化行业数据治理实践
一、项目背景在当今这个数据驱动的商业时代,所有追求卓越的企业均在积极探索如何有效利用数据资产,旨在提升运营效能、优化成本控制,并更精确地洞悉并满足市场所需。尤其对于置身于白热化市场竞争中的消费品制造业,数据管理的挑战更为显著。作为某一日化行业细分领域的领军者,B集团凭借并购策略实现了快速扩张,市场份额急剧攀升。集团推行了一种集中提供共享服务与各子公司分别负责特定品牌及区域营销的管理模式。但随之而来的是,各品牌间的历史遗留问题——包括不统一的信息系统、物料编码体系以及分散的销售渠道,加之往昔对信息化投入的不足,加剧了数据管理“赤字”的状况。面对经济增长的放缓与消费者偏好的动态变化,B集团遭遇的考验尤为严苛,其数据管理的短板不仅制约了决策速度,还推高了运营成本。意识到这一薄弱环节后,B集团果断选择与北京数语科技携手合作,借助后者在数据治理咨询领域的深厚底蕴与先进的数据治理体系,共同应对数据管理的困境。此番合作,标志着B集团向构建高效数据生态系统、实现智慧决策与精益运营迈出了关键一步。二、调研问题项目启动之初,数语科技即刻部署资深咨询顾问,对客户相关部门展开了全面调研,旨在彻底摸清数据现状,并系统性地整理出数据管理的典型难题。基于丰富的咨询实践,我们深知:在企业纷繁复杂的问题中,那些与企业战略紧密挂钩、直接影响战略目标达成的议题,应当置于解决序列的最前端,因其对企业总体投入产出比的提升尤为显著。鉴此,咨询团队入驻,即刻提议与IT部门高层开展深度对话。通过这次高端交流,我们明确了企业当前的战略焦点在于营销板块。由此,无论是从战略目标的细化落实考量,还是依据问题的紧迫性和影响力,都无一不指向营销领域的数据问题应被首要解决。明确优先级后,我们紧接着充分利用现有资料,以深化对问题现状的理解。第二阶段的工作重心落在了详尽审查IT部门先前汇总的业务用户反馈与需求上,特别关注与营销领域相关的、疑似源于数据管理不当、且影响重大、反复出现的问题,进行细致入微的探究。这一过程不仅帮助我们概览了企业的管理全貌,还揭示了企业的核心业务架构、主要业务板块、各领域间的协同机制,以及营销板块中与数据紧密互动的关键职位与用户等关键信息,进一步明确了哪些典型问题与哪些关键角色直接关联,这些问题如何牵涉到具体业务系统,以及它们对业务运行的具体影响。进入第三阶段,我们的调研聚焦于营销这一核心业务领域的关键岗位用户,如一线业务经理、导购、门店负责人及区域经理等。过往众多项目的成功经验提示我们,针对同一问题,不同用户的反馈可能存在巨大差异。在排除回答者的岗位特性、个人习惯及经验因素后,这种分歧往往暴露了沟通不足与业务流程标准化缺失的问题。面对相互矛盾的答案,我们视之为探查问题根源的宝贵线索,唯有深入分析,方能触及并解决那些隐藏深处的症结。历经三个多月的深入调研,通过对关键岗位用户的多轮访谈与广泛资料搜集,我们发现了一系列在核心业务领域极具代表性的挑战。调研完毕后,我们按二级业务领域对调研成果进行了分类整合。1、经销商管理领域:鉴于B集团多元化的品牌架构和相对宽松的销售网络,经销商管理呈现出一定的混乱状态。具体表现在,多数经销商依赖手动输入来维护库存数据,且经销商及其对应业务员的状态更新滞后,导致系统内的经销商库存、状态等信息失真,严重影响了基于系统数据进行的销售预测准确性,进而波及供应链的排程与生产计划的科学性。2、门店运营领域:尽管门店直接受公司管辖,但数据管理同样暴露出问题。部分门店随品牌并购加入,而并购后的系统并未适应多品牌交叉销售的需求,显示信息与实际情况不符,即某些门店被限定为单一品牌销售点,实则跨品牌经营。此外,新设门店信息未能及时录入系统,致使实际门店布局与销售业绩难以通过系统获得即时准确的评估。3、会员管理方面:面临多品牌企业普遍存在的难题。早年会员体系各自为政,未考虑到用户跨品牌会员身份的现实,这阻碍了针对多品牌忠诚客户的有效促销策略制定。4、营销活动记录缺失:营销活动的线上跟踪记录极度匮乏,无法在系统层面上形成闭合回路,活动效果评估无从谈起。5、产品管理问题:最为严峻。因不同品牌由相对独立的团队运作,产品属性设计趋向局部优化,忽略了全公司层面的产品属性标准化,例如,产品适用年龄段的定义在不同品牌间不统一,阻碍了跨产品分析时以年龄段为维度的数据整合,诸如此类的产品属性问题层出不穷,极大降低了产品数据的分析价值。综上所述,企业在数据质量、完整性及可用性等方面面临显著挑战,数据更多扮演着业务执行记录的角色,却未能充分发挥其在成本控制与效率提升上的指导作用,尤其是在利润空间压缩的当下,企业精细化管理的需求愈发迫切。三、提出方案尽管解决上述问题看似无需顶尖技术介入,但考虑到企业庞大复杂的信息化架构——横跨几十个系统、涉及数十万库表字段,这些已知问题仅是冰山一角。根据众多项目案例,隐匿于表面之下的问题数量可能是显性问题的数百倍,它们难以言喻且难以察觉,其根源大多在于长期缺乏系统性的数据管理和全局数据治理体系的缺失。在此背景下,期待短期内通过一两个项目彻底根治问题是不切实际的幻想。更明智的做法是,先启动一个试点项目,为客户构建一个短期能缓解显见问题、并能随后续项目迭代完善的管理体系。通过试点示范验证方案的有效性,为后续的逐步推广和持续优化奠定坚实基础。众多数据管理先进的企业已成功克服相似挑战,他们的实践经验经过市场检验,极具参考价值。近年来,《华为数据之道》倡导的以业务对象为中心的数据架构方法,以及中国信息通信研究院发布的《数据资产管理实践白皮书》中提及的数据标准化路径,尤为值得传统企业借鉴。数语科技咨询团队,基于丰富的实战经验,融合业务对象与数据标准的精髓,针对本次项目前期调研的发现,为该企业量身定制了一套自下而上推进的数据资产管理策略。策略从具体部门岗位遇到的核心问题出发,提炼总结成企业管理的通用经验和方法论,逐步赢得上级部门乃至集团总部的认可,最终推广至其他业务板块。这一过程始于关键业务对象的识别与细化,包括其数据项、属性归属及质量规范的梳理。具体实施步骤包括:1、数据资产盘点:针对之前识别的业务领域痛点,通过剖析业务流程、活动及表单,锁定关键业务对象及其数据项,并明确每一数据项的业务、技术与管理属性,从而编制企业核心数据资产清单及目录。2、数据标准化:在识别的数据项基础上,制定数据标准,涵盖业务规则、权责界定、管理规范及统一业务术语等。为加速成效,经与客户协商,本阶段项目重点针对产品、组织、财务科目三大业务对象的数据项实施标准化工作。3、数据质量改善:鉴于访谈反映出的数据质量问题,标准化后,我们将依据质量准则开发数据清洗方案,并在可能的情况下改进数据源系统,促进数据标准在各应用、品牌间的互联互通。经过深入探讨与论证,上述方案相比传统自上而下的全面铺开模式,更具实施可行性,也更契合该企业注重实效、求真务实的管理文化。四、落实方案尽管整体方案构想得十分美好,但要将其转化为现实则需完成大量细致而繁复的任务,其中,制定数据项的数据标准尤为充满挑战。鉴于每家企业的独特性,关键数据标准的确立需经由业务、IT及管理层等多方面的充分沟通与讨论。过程中,不同业务用户对同一条数据标准的理解偏差亦是常态。虽然部分标准可参照行业惯例或企业历史实践,但大多数标准的科学性、合理性及其适应性仍需所有利益相关方共同探讨。B集团作为一家历经多次并购且管理架构相对宽松的企业,旗下各品牌团队往往沿用各自的惯常标准,忽略了与其他品牌团队标准的兼容性问题。长此以往,标准不一导致的弊病将深刻影响企业的日常运营。项目初始阶段的多次高层会议揭示了迅速解决数据标准一致性问题的迫切性。在理论层面,梳理数据项与确立数据标准的最佳途径是始于业务流程的分析,通过流程辨识业务实体及其对应的数据项。项目初期,咨询团队尝试从现有的流程文档入手,借助客户方产品经理的实操展示与讲解来明确业务实体与业务活动。然而,实践发现,B集团在前期并未系统梳理业务流程,现有流程资料零星散乱。尽管偶有找到产品操作手册和培训资料,但因系统频繁迭代,这些文档与实际操作之间存在较大出入,连产品经理也无法详尽阐述其负责产品的每一项功能细节。鉴于此,项目团队转而采取更为深入的业务用户访谈策略,力图重构完整的端到端业务流程。遗憾的是,营销领域的业务活动极为复杂,业务用户难以抽出足够时间参与访谈,导致项目推进一度陷入停滞。项目团队在意识到预设的理想方案并不贴合客户实际情况后,与客户深入沟通并探讨了更为灵活的解决方案路径。鉴于全面捕捉业务活动全貌的难度,我们调整策略,从具体而迫切的数据问题切入。在初步调研阶段,已积累了大量的典型问题案例。我们据此逆向追溯,将问题描述与相应应用系统的数据录入界面相匹配,比如,针对“物料规格”这一典型的数据管理难题,项目组协调产品经理定位到涉及物料规格录入与查看的具体界面,并进一步确认哪些业务用户与之交互频繁,随后通过访谈深入了解他们在日常操作中如何填写及应用这一字段的细节。后续的调研揭示了一个有趣的发现:在液体产品类别中,“物料规格”字段填写存在不一致性,有的品牌团队使用“罐”,而另一些则采用“瓶”。由于系统界面未明确规范填写规则,不同业务人员依据个人理解和习惯填写,从个体角度看并无不当,但在后续数据分析阶段,系统难以自动识别“罐”和“瓶”为同一规格,造成数据处理困扰。项目团队随即提出将“物料规格”的标准化作为首要建议,供客户方业务负责人审议。经甲方更广泛地调研与分析,决定对在售商品的物料规格进行全面梳理,最终归纳为几类统一的数据标准,例如在液态类中统一采纳“瓶”作为表述,并采用“单品净含量*每件单品数(单位)/件”作为标准化计量单位。经过一系列周密的调研、沟通与讨论,项目团队在诸如产品简称、事业部划分、包装类型、标准容量等领域确定了一系列具体的数据标准,有效提升了数据的一致性和分析的准确性。专业的咨询顾问往往倾向于运用Excel来规划和设计数据资产及相应的数据标准框架,然而,这种方法既不能有效解决现有IT系统中数据与数据标准不符的现状,也无法有效预防未来新增或修改数据时再度偏离标准的潜在风险。一套完整的数据治理体系不仅要求在咨询层面洞察问题、设计解决方案,还必须依托强大的平台工具来确保数据标准的切实落地。这既包括依据数据标准设定的质量准则对现有数据进行净化处理,也涉及优化上游业务系统,以从根本上防止不符合数据标准的数据产生。鉴于此,客户选择了数语数据治理平台(DAM)作为国内领先的工具,用于数据治理实践,并采纳数语科技的专业服务来检测数据质量。面对相似挑战的客户常规做法是,由实施顾问协同业务人员、产品经理及IT团队共同确认每个字段的清洗需求与可行性,从而划定清洗范围。随后,借助DAM平台配置质量核查规则,识别数据问题,并输出具体的清洗策略。然而,在着手数据清洗任务时,项目团队面临了新难题。在与业务、产品和技术团队共同界定清洗范围时,发现大部分字段的清洗操作可能会干扰系统的正常运行和业务流程,且系统中充斥着大量已失效的产品数据。经过一轮与业务和产品团队的确认,尽管提出了120个字段的清洗方案,但IT部门审核后仅9个字段适宜清洗,且涉及的有效产品数据有限,项目进程再度受阻。为突破这一困境,项目团队与客户携手探索创新策略。他们决定将最终确认的清洗范围及对应产品数据导出,依据数据标准手动筛查问题,明确标注每条数据清洗后的正确形态,并获得业务人员的书面认可。这一过程还意外揭示了数据标准初定时的部分不合理之处或对实际业务场景的忽略,促使团队进一步修订和完善数据标准清单,为数据治理工作的深化奠定了坚实基础。五、成效总结从支撑业务目标的视角审视,数据治理的核心旨在通过增强数据的价值来促进生产效率和产品合格率的提升,同时降低成本,并为营销活动提供强大动力。为达成这些宏伟目标,企业必须投身于一系列精心策划的数据治理实践,涵盖数据质量审计、数据标准化作业以及数据集成等多个维度。面对数据治理不足的现状,企业往往会遭遇一系列相似的困扰:生产效率与产品质量双双下滑,营销活动的表现不尽人意,既定的营收目标难以企及,还间接削弱了顾客满意度。这些问题直观反映在诸如产品合格率的滑坡、材料浪费率的上升、以及营销活动转化效率的下降等关键绩效指标上。改善这些指标,无疑是业务与信息技术(IT)部门携手合作的成果。业务侧通过优化流程,确保生产交付高效、生产效率与成本管理得宜、以及在营销活动中有效吸纳新客户等;而IT侧,则依托办公自动化系统、客户关系管理系统、以及仓储管理系统等关键业务系统,为业务活动的实施提供技术支持。在此框架下,各类业务操作生成的数据作为宝贵的业务数据项,如产品合格计数、材料损耗量、新客户获取量、活动参与及实际购买人数、产品线详情与规格参数等,均需被妥善管理。一个高效的数据治理体系能够有力保障这些业务系统内数据的准确性和可用性,为IT系统高效驾驭业务数据提供强有力的支持,从而为企业整体效能的飞跃奠定坚实的基础。经过数月的深入合作与努力,B集团在数据治理领域的实践取得了显著成效。一方面帮客户发现并解决了很多明显的数据问题,另一方面通过项目过程,帮甲方认识到数据治理对企业的价值。不仅在具体问题上取得了突破,更在企业层面上树立了数据治理的重要性与价值认知。客户逐渐认识到数据治理不仅仅是IT部门的工作,而是需要业务、IT、管理等各方共同参与,才能为企业实现其业务目标,并通过具体的业务场景来体现其价值。以下是数据治理实践的成效概览:1、问题识别与解决:通过细致的调研与分析,项目团队成功识别并解决了营销领域中经销商管理、仓库数据准确性、会员系统整合、经销活动记录缺失及产品属性标准化等一系列关键问题。这些问题的解决直接提高了数据的准确性和可用性,为决策提供了坚实的基础。2、数据标准化与质量提升:通过梳理数据资产、制定数据标准,特别是针对产品、门店、经销商等核心业务对象的数据标准化,显著提升了数据的一致性和可比性。实施数据清洗,尽管初期面临挑战,但通过创新策略,如数据导出人工校验,有效推进了数据质量的提升,并逐步在业务系统中落实数据标准,为后续数据的准确输入和高效利用打下了基础。3、业务与IT协同:项目过程中,强化了业务与IT部门之间的沟通与合作,共同参与到数据治理的各个环节中。这种跨部门合作模式促进了业务流程与数据管理的深度融合,使数据治理不再是IT部门的单一任务,而是成为了全公司的共同责任,提升了整体效率和响应速度。4、管理与文化变革:数据治理项目的实施,推动了B集团内部管理文化的转变,从领导层到基层员工,都开始意识到数据质量与标准化的重要性,形成了数据驱动决策的意识。通过项目实践,集团上下对于数据治理的价值有了深刻的认识,为后续的数据驱动转型奠定了良好的文化基础。5、技术平台的应用:数语数据治理平台(DAM)的引入,不仅为数据质量检查和标准化提供了强大的技术支持,还为持续的数据治理提供了自动化工具,减少了人为错误,提高了工作效率。平台的实施与优化,为B集团构建了一个可持续的数据治理框架。6、业务绩效提升:随着数据质量的提升和数据标准化的推进,B集团在生产效率、成本控制、营销活动效果等方面均有所改善。例如,基于准确的经销商库存数据,企业能够做出更精准的销售预测,优化供应链管理;通过整合多品牌会员数据,实现了更有针对性的促销策略,增强了客户满意度与忠诚度。7、未来扩展与持续优化:项目试点的成功为B集团提供了宝贵的经验,为数据治理的持续迭代和全面推广铺平了道路。企业已具备进一步深化数据治理工作的能力,有望在更多业务领域复制成功经验,持续提升数据资产的价值,为企业的长期发展和市场竞争优势提供坚实的数据支撑。B集团的数据治理实践不仅解决了当前紧迫的数据问题,更重要的是,它开启了一条通往数据驱动型组织的道路,为企业的数字化转型和可持续增长奠定了坚实的基础。
既不懂业务,又卷不动业务部门,我该怎么干数据治理
数据资产盘点是典型的知识密集型工作。以元数据补全为例:业务元数据(Business Metadata)通常描述了数据的业务含义、数据如何被使用、数据的所有者以及数据的业务规则等。在数据仓库、数据湖或任何企业级数据平台中,业务元数据对于数据消费者(如业务分析师、报告制作者、数据科学家等)至关重要,因为它帮助他们理解数据的上下文和用途。以下是一些业务元数据补全的示例:示例 1: 数据字段的业务描述假设你有一个名为“sales_order”的数据表,其中一个字段名为“order_amount”。原始的元数据可能只包含字段名和数据类型。业务元数据补全可以包括:· 业务描述:订单的总金额(包括商品、税和折扣)· 数据单位:美元(USD)· 数据来源:销售系统的订单详情页面· 数据所有者:销售部示例 2: 业务规则对于上述的“销售订单”数据表,可能有一些业务规则需要记录为业务元数据:· 验证规则:order_amount 必须大于 0。· 业务逻辑:如果订单是促销订单,order_amount 可能包含额外的折扣。· 数据质量检查:每天检查 order_amount 是否与财务系统中的总销售额相匹配。示例 3: 数据使用案例为了向数据消费者展示数据的重要性,可以记录一些数据使用案例作为业务元数据:· 报告:销售部门使用 order_amount 字段生成月度销售报告。· 分析:市场部门使用 order_amount 来分析不同产品类别的销售趋势。· 决策支持:管理层使用 order_amount 来评估公司的整体业绩并做出战略决策。示例 4: 数据流图数据流图(Data Flow Diagram)可以作为业务元数据的一部分,展示数据如何在不同系统、应用和部门之间流动。例如,可以记录:· “销售订单”数据从销售系统流向数据仓库,然后用于报告和分析。· 如果存在任何数据转换或清洗过程,也应记录在这些图中。通过补全这些业务元数据,组织可以确保数据的准确性和一致性,提高数据治理水平,并促进跨部门和跨系统的数据协作。数据资产盘点需要了解不同业务域的知识。通常企业各业务部门的业务骨干才能了解这些业务知识,或者卷业务部门的IT供应商也能解决大部分问题。天下没有免费的午餐。业务部门是利润部门,更强势。业务骨干是业务部门的关键资源,没有大领导的指示,是很难调的动这些资源。调动业务部门的IT供应商也是需要付出成本的。甚至有些IT供应商不开放自己系统的数据字典给到客户。因此,数据治理的从业者需要一个Co-pilot平台,赋能数据治理知识工作者开展数据治理工作。数据治理开展前期先做准备工作,之后由业务评审、确认,这样工作就好开展很多。Datablau AI 小数应运而生,小数拥有海量的行业知识,广泛涉及金融(银行、保险、证券、基金)、制造等各种行业术语。这一庞大的知识体系不仅包括行业规范、制度、体系、指引、案例等,同时还集成了数据模型、标准、指标、数据字典等治理相关的行业数据。通过AI 小数的计算能力可以有效的赋能元数据补全、数据质量规则构建,数据建模、智能数据安全分类分级、智能数据资产对标等数据治理相关工作。如下图所示,问询证券行业的主数据如下图所示,问询DAM平台如何采集元数据Datablau AI小数如何试用?方式1:当前Datablau AI 小数免费开放试用,在浏览器打开https://ai.datablau.cn/无需登录注册。方式2:打开Datablau公众号,在菜单栏中找“文档资料”,选择“AI智能小数”即可试用。
数据分类分级概念、方法、标准及应用
数据已与土地、劳动力、资本、技术并列为先进生产力五大要素,是国家重要的基础性、战略性资源。如何开放数据共享、提升数据价值的同时保障数据生命周期安全与合规,是企业需要解决的重要问题。而对数据进行数据分类分级安全管理,是数据安全保护的重要措施之一。1.数据分类分级概念及挑战根据《GB/T 38667-2020 信息技术-大数据-数据分类指南》的定义,数据分类是根据数据的属性或特征,按照一定的原则和方法进行区分和归类,以便更好地管理和使用数据。数据分类不存在唯一的分类方式,会依据企业的管理目标、保护措施、分类维度等形成多种不同的分类体系。数据分类是数据资产管理的第一步。不论是对数据资产进行编目、标准化,还是数据的确权、管理,或是提供数据资产服务,进行有效的数据分类都是其首要任务。数据分类更多是从业务角度或数据管理的方向考量的,包括行业维度、业务领域维度、数据来源维度、共享维度、数据开放维度等。同时,根据这些维度,将具有相同属性或特征的数据,按照一定的原则和方法进行归类。数据分级则是按数据的重要性和影响程度区分等级,确保数据得到与其重要性和影响程度相适应的级别保护。影响对象一般是三类对象,分别是国家安全和社会公共利益、企业利益(包括业务影响、财务影响、声誉影响)、用户利益(用户财产、声誉、生活状态、生理和心理影响)。企业建议选取影响程度中的最高影响等级为该数据对象的重要敏感程度。同时,数据定级可根据数据的变化进行升级或降级,例如包括数据内容发生变化、数据汇聚融合、国家或行业主管要求等情况引起的数据升降级。数据分级本质上就是数据敏感维度的数据分类。任何时候,数据的定级都离不开数据的分类。因此,在数据安全治理或数据资产管理领域都是将数据的分类和分级放在一起,统称为数据分类分级。目前分类分解存在的挑战有:1. 复杂业务的分类分级标准与规则不好定义,行业标准对落地细则的指导不足。2. 数据分类分级之后缺乏对应的有效管理和使用策略,让数据分类分级流于形式。3. 部分业务数据不具备明显数据特证,通过规则自动识别准确率不高。特别是针对非结构化数据的分类分级识别困难较大。2.国内已发布的数据分类分级相关标准在开展分类分级工作时参考最多的标准有如下:其他标准参考如各类地准、国标、行标:3.企业数据分类分级实现行业发布的数据分类分级标准可以为企业实施提供参考,但企业真正着手建立企业内部数据分类分级规范并不能完全照搬行业标准,行业标准的内容一般较为宏观,分类的颗粒度相对较粗,可能不能完全覆盖企业的主要数据类型。这就需要企业结合自身业务场景及行业实践来建立适合本业务特性的分类分级标准。3.1 数据分类分级实施路径在实际落地过程中,通常会把数据分类分级的实施路径总结成为五步:第一步,咨询调研分析。基于行业相关的监管政策和标准规范,对业务系统、数据资产现状和数据安全现状等进行全面调研分析,从而对企业业务、数据及安全现状做到“心中有数”。第二步,数据资产梳理。自动化识别数据资产,对数据资产进行梳理打标,构建好数据资产目录和数据资产清单,为企业数据分类分级打好基础。第三步,数据分类方案。基于数据资产清单进行数据分类体系设计,完成数据分类打标实施。打标实施完之后,再进行分类分级规则调优,提升自动化分类的比例和准确率。第四步,数据分级方案。先进行数据分级体系设计,接下来进行数据分级的规则调优,尽量提升自动化分级的覆盖率和准确率,降低人工成本,然后是数据等级变更维护机制和工具平台设置。第五步,数据分类分级全景图。构建数据分类分级清单,实现数据分类分级可视化。同时产出一些数据分类分级运营机制,为数据安全分级保护打好基础,做好准备。3.2 数据分类数据分类是指根据数据的属性或特征,按照一定的原则和方法进行区分和归类,并建立起一定的分类体系和排列顺序,以便更好的管理和使用数据的过程。基于不同的数据属性或特征,对数据采用不同的分类视角,例如有数据管理视角、数据应用视角和国家行业组织视角。从数据分类视角出发,结合数据分类方法对数据进行分类,把数据分类的方法分成三种,线分类法、面分类法和混合分类法。线分类法旨在将分类对象按选定的若干个属性或特征,逐次分为若干层级,每个层级又分为若干类别。同一分支的同层级类别之间构成并列关系,不同层级类别之间构成隶属关系。同层级类别互不重复,互不交叉。面分类法是将所选定的分类对象依据其本身的固有的各种属性或特征,分成相互之间没有隶属关系即彼此独立的面,每个面中都包含了一组类别。将某个面中的一种类别和另外的一个或多个面的一种类别组合在一起,可以组成一个复合类别。面分类法是并行化分类方式,同一层级可有多个分类维度。混合分类法是将线分类法和面分类法组合使用,克服这两种基本方法的不足,得到更为合理的分类。混合分类法的特点是以其中一种分类方法为主,另一种做补充。适用于以一个分类维度划分大类、另一个分类维度划分小类的场景。分类的维度可以有很多,包括数据的来源、内容和用途等,有时候可能是多维度的结合,例如,从个人信息的维度,将数据分为个人信息和非个人信息;从业务维度,分为财务数据、业务数据、经营数据等。数据分类示例:3.3 数据分级数据的分级一般是依据数据重要性和敏感度高低来划分的。《中华人民共和国数据安全法》要求,根据数据一旦遭到篡改、破坏、泄露或者非法获取、非法利用,对国家安全、公共利益或者个人、组织合法权益造成的危害程度,将数据从低到高分成一般数据、重要数据、核心数据共三个级别,这是从国家数据安全角度给出的数据分级基本框架。企业比较常用的分级规则是将一般数据的敏感/重要程度从低到高分为公开(1级)、秘密(2级)、机密(3级)、绝密(4级)四个级别,如下示例:工业和电信领域企业,如涉及国家核心数据和重要数据的分类分级可参考《工业和信息化领域数据安全管理办法(试行)》中第七条至第十条要求。以金融行业数据分级为例,金融行业数据等级一般分为五级:五级数据指对国家安全造成影响,或对公众权益造成严重影响数据。四级数据指对公众权益造成一般影响,或对个人隐私或企业合法权益造成严重影响,但不影响国家安全数据。例如个人健康生理信息、个人身份鉴别信息等。三级数据指对公众权益造成轻微影响,或对个人隐私或企业合法权益造成一般影响,但不影响国家安全数据。例如比较常见的个人信息,姓名、身份证,联系方式等。二级数据指对个人隐私或企业合法权益造成轻微影响,但不影响国家安全、公众权益数据。一级数据指对个人隐私或企业合法权益不造成影响,或仅造成微弱影响,但不影响国家安全、公众权益数据。数据分类类别,包括但不限于研发数据、生产运行数据、管理数据、运维数据、业务服务数据、个人信息等。数据分级级别,按照国家有关规定,根据数据遭到篡改、破坏、泄露或者非法获取、非法利用,对国家安全、公共利益或者个人、组织合法权益等造成的危害程度,将数据分为一般数据、重要数据和核心数据三级。分级原则如下:合法合规原则:分级应遵循有关法律法规及部门规定要求,优先对国家或行业有专门管理要求的数据进行识别和管理,满足相应的数据安全管理要求。就高从严原则:数据分级时采用就高不就低的原则进行定级,例如数据集包含多个级别的数据项,按照数据项的最高级别对数据集进行定级。动态调整原则:数据的级别可能因为多个低敏感的数据聚合提高数据级别,也可能因为脱敏或者过期等原因降低数据级别。完成数据资产的识别与分类分级定义后,需要制定并发布企业的《数据安全分类分级标准》及配套的安全要求,以在企业内统一规则及实施流程。安全标准重点是需要针对不同安全级别的数据采取差异化的安全策略,对高敏(机密、绝密级)数据进行重点管理,而公开和秘密级别的安全措施要适度。特殊业务场景下,可以通过对高敏数据进行脱敏、加密以及采用隐私计算等措施来降低数据管级,提高数据的内部流转,实现数据价值。3.4 分类分级在业务中的应用分类分级标准制定只是企业数据分类分级安全管理工作的起点。真正要落实数据分类分级安全要求,需要建立配套的实施流程与工具。确保在不同的业务场景中能够识别并标识出数据的分类与分级,并实施对应的安全措施,例如:在权限申请和数据分享的场景,不同级别的数据采用分级安全控制策略与审批流程;在安全事件处理场景,不同级别的数据的事件定级及响应处理流程有差异等等。图1 数据分类分级应用实践案例如上图数据处理全流程涉及的数据安全管控技术示例如下:1. 数据源验证、合规评估、个人信息采集告知同意2. 数据源验证、访问控制、传输加密、个人敏感信息内容加密3. 数据使用审计、权限控制、数据脱敏、安全计算4. 联邦学习、访问控制、数据访问审计5. 访问控制、数据脱敏、特权管理6. 数据脱敏、外发安全审计、API管控7. 服务端数据存储加密、数据库访问控制、安全审计、分类分级8. 敏感数据识别、数据分类分级9. API安全监测、访问控制、安全审计10. 数据脱敏、安全审计11. WEB数据展示/下载管控/审计/脱敏12. 动态脱敏、特权管理、安全审计、运维审计13. 安全评估、保密协议、数据脱敏、加密传输14. 数据分类分级、文件加密、数据防泄漏、远程办公安全4.敏感数据的分类分级识别与打标敏感数据的分类分级识别,不同企业做法有所不同。规模比较小的企业通过人工盘点的方式也能将基本数据识别完整。但大企业的数据量级很大,而且总是随着业务的变化持续在变,敏感数据的分类分级识别如果仅使用人工盘点的方式,目标不易实现。建立一套自动化数据识别与打标的能力显得尤为重要。图表 2 数据分类分级打标及应用流程4.1 建立敏感数据规则库敏感数据规则库的建立是自动化识别的基础能力,规则库采用的技术包括关键字、正则表达式、基于文件属性识别、基于元数据信息的自定义识别、机器学习等。例如:银行卡号、证件号、手机号,有明确的规则,可以根据正则表达式和算法匹配。姓名、特殊字段,没有明确信息,可能是任意字符串,可以通过配置关键字来进行匹配。营业执照、地址、图片等,没有明确规则,可以通过自然语言算法来识别,使用开源算法库。4.2 数据扫描、识别与密级打标通过对结构化/半结构化/非结构化数据扫描,自动发现敏感数据的类别、级别等属性信息及存储位置,形成数据资产图。自动化识别并打标的数据,按需进行人工的复核,以确定数据的密级。密级需要支持人工修改,通过流程控制密级的变更。更重要的是,数据的密级标签要同步到元数据、数据产品等,实现对密级的应用。当然,数据分类分级只是数据安全工作中基础的环节,真正要做好数据安全管理,需要建立相对完整的安全管理与技术体系,才能有效落实数据的分类分级策略,保障数据的安全与合规。5.数据分类分级保障措施及相关建议数据分类分级是数据安全治理和数据管理的主要措施,是数据的安全合规使用的基础。数据分类分级不仅能够确保具有较低信任级别的用户无法访问敏感数据以保护重要的数据资产,也能够避免对不重要的数据采取不必要的安全措施。人、安全体系、技术这三方面是数据安全治理三个方面:数据安全治理蓝图数据分类分级建设思路5.1 数据分类分级保障条件-组织架构数据分类分级工作的开展应具备组织保障,设立并明确有关部门(或组织)及其职责。决策层:决策层负责制定企业数据战略、审批或授权,全面协调、指导和推进企业的数据分类分级工作。数据分类分级工作的领导组织及其负责人,主要负责数据分类分级相关审批、决策等工作;管理层:决策层主要负责建立企业数据分类分级的完整体系,制定实施计划,统筹资源配置、建立数据分类分级常态化控制机制,组织评估数据分类分级工作的有效性和执行情况,制定并实施问责和激励机制。数据分类分级工作的管理部门(或组织)及其负责人,主要负责数据分类分级相关工作的组织、协调、管理、审核、评审等工作;执行层:执行层在管理层的统筹安排下,根据数据分类分级相关制度规范的要求,具体执行各项工作。负责数据分类分级体系建设和运行机制,根据数据分类分级各职能域的管理要求承担具体工作。信息科技部门及其负责人,主要负责落实数据分类分级有关要求,并主导数据分类分级实施工作。各业务部门是数据分类分级执行工作的责任主体,负责本业务领域的数据分类分级执行工作,管控业务数据源。确保数据被准确记录和及时维护,落实数据分类分级管控机制,执行监管数据相关工作。各业务部门及其负责人负责落实数据分类分级有关要求,并协同开展数据分类分级实施工作。5.2 数据分类分级保障条件-制度规范1)数据分类分级工作的开展应具备制度保障,企业应建立数据分类分级工作的相关制度,明确并落实相关工作要求,包括但不限于:2)数据分类分级的目标和原则;3)数据分类分级工作涉及的角色、部门及相关职责;4)数据分类分级的方法和具体要求;5)数据分类分级的日常管理流程和操作规程,以及分类分级结果的确定、评审、批准、发布和变更机制;6)数据分类分级管理相关绩效考评和评价机制;7)数据分类分级结果的发布、备案和管理的相关规定。5.3 相关建议1)站在集团层面做数据分类及下属企业两个层面;2)不求大而全,实用为主。主数据、指标数据分类做实;3)能在不同企业推广。物料、设备、指标框架等;4)满足一个集团在不同层级人员的共享需求;5)尽量多一些有影响力的成员单位加入团标。(本文内容来源数据安全推进计划、极盾科技、数据工匠俱乐部等,数据学堂整理编辑)
扫码关注
datablau 更多资讯
电话咨询
在线咨询
免费试用
投诉反馈
电话:400-6033-738
产品咨询及商务合作请联系
sale@datablau.com
投诉反馈请联系
support@datablau.com