新闻资讯

证券期货业如何做好数据治理,这篇文章讲透了!

证券期货业大背景

随着大数据技术的广泛应用,数据已经成为企业、行业乃至国家的重要资产。国务院在2020年3月在《关于构建更加完善的要素市场化配置体制机制的意见》首次将数据纳入五在要素。中国人民银行在2020年10月及2021年3月分别发布了《金融数据安全 数据安全分级指南》和《金融业能力建设指引》指导金融业的数据治理工作。随着证券期货业的快速发展,证券期货业机构多、类型广、交易方式多样,同时,业务数据呈现出结构化程度高,机构内及机构间数据交换频繁,业务创新迅速。证券期货业公司积累了大量客户数据、交易数据及外部数据,数据体量不断上升。证券期贷业公司当前处理数字化转型的关键时间,统一有效的企业数据资产是企业数字化转型的重要支撑。怎样通过有效管理数据资产来提高业务运营管理水平成为重要的研究课题。    


一方面,开展数据治理工作符合金融业综合统计工作的内在要求。2018年以来,作为支持金融服务实体经济、防控金融风险、深化金融改革的重要组成部分,监管部门加快推进金融业综合统计工作。在实现统计对象、业务、内容“全覆盖”的外部监管要求下,证券期货业公司的资产管理业务数据,包括向上关联到委托人、向下关联到投资管理等业务的全链条数据均纳入监管统计监测范围。在外部监管要求日益严格的环境下,证券期货业公司有必要通过开展数据治理工作,从根本上理顺业务数据生产、存储及呈现机制,提升数据质量。


另一方面,开展数据治理是证券期货业公司提升自身精细化管理水平的基础。随着信息化、数字化、智能化快速发展,数据所创造的价值不断提高。证券期货业公司在开展资产管理业务时若能最大程度地挖掘业务数据背后的价值,以数据治理赋能主动投资管理能力和产品创新能力,则有利于自身精细化管理水平,提升资产管理行业中的综合竞争力。

本篇内容将从证券公司案例和基金公司案例做深入的思路分享。

证券公司案例

项目背景

为了提升数据资产管理能力,迫切需要发起和持续开展某证券公司级的数据治理工作,对数据的有效性、完整性、合规性、安全性进行全面、长期的管理,在数据产生的源头、数据加工处理的过程中、数据最终使用的场景里建立良好的数据治理制度和秩序,以提升数据的准确性和利用效率。


某证券公司从公司领导层已认识到数据治理对于公司数字化转型重要性,并已请国内有名的咨询公司对公司从数字化转型、数据战略方面综合为公司进行咨询及相关设计。成立了数据治理委员会及相关数据治理小组,如数据质量小组、数据标准小组、数据模型小组、数据资产管理小组等。


随着公司数据治理工作的推进中,公司及数据治理小组意识到需要有效能落地的数据治理平台及数据模型工具来支撑及落地数据治理工作,促进数据治理能力输出,提升管控效率及自动化水平;同时开展数据资产盘点,结合实际现状及数据质量问题,进一步扩大数据治理范围。


证券公司案例

项目目标

搭建完善的、前瞻性的、可拓展性高的数据治理平台,为数据治理工作的长期运营提供有效的支持工具,打下坚实的基础。

结合某证券公司数据治理咨询项目的成果,依托数据治理平台,实现咨询成果的落地与线上化管理。

基于数据资产盘点,打造面向数据服务的数据资产目录,并重点针对主数据开展质量管理,形成主数据管理方案。

与某证券公司正在建设的大数据平台进行集成,并且可以通过单点登录或共享会话的形式,实现在公司数据管理的一致性需求。


证券公司案例

项目实施及成果


01 主数据标准落地

在确认了治理小组和主数据标准权威管理部门各自的职责后,结合数据治理小组数据标准梳理成果的主数据标准文件,和数语DAM数据治理平台的数据标准模块,实现了主数据标准的线上化管理,根据用户范围及使用习惯提供了不同的发布机制和渠道,便于共享和查询。

数据治理.jpg

主数据标准样例图


利用DAM数据治理平台中智能对标功能,特别是对关键系统元数据进行映射,建立主数据标准与元数据的映射关系。有效提高元数据管理与数据标准的工作效率。

数据治理.jpg

智能对标样例图

并且,通过DAM落标核验功能模块,对主数据标准落标情况进行评估监控。依据发现的落标问题,提出了主数据标准在相关系统的落地实施建议方案,并根据管理办法,分期分批地使用管理工具进行更新、发布等工作从而协助某证券公司完成了主数据标准落地。


02 数据质量管理

经过多次与业务部门和技术部门的方案讨论和职责确认,结合正在开展的数据集市建设规划项目,对同步到大数据平台的全量数据进行质量监控。将数据治理咨询成果的数据质量业务规则落地到DAM数据质量业务规则模块。


3.jpg

业务规则样例图


将调整过后的客户数据质量技术规则落地至DAM数据质量技术规则模块。


4.jpg

技术规则样例图


并运用DAM数据质量检核任务模块及问题管理模块,根据某证券公司数据质量小组制定的数据质量管理流程及实际部门职责定义,结合公司内部相关流程管理工具,实现了数据质量线上全流程闭环管理。

数据治理.jpg

DAM数据质量管理流程图


03 数据资产盘点,形成数据资产目录

按照分主题逐步推进思路,协助某证券公司重点主题域开展数据资产盘点,形成数据资产目录。实施路径如下图:

数据治理.jpg


Step1:业务系统摸底分析,总结元数据问题

收集整合统计某证券公司指定业务系统信息,利用平台采集业务系统元数据,根据采集结果进行现状摸底分析统计,利用DAM数据治理平台相关功能分析总结出已抽取业务系统元数据的现状问题:

(1)业务系统元数据中文名称覆盖比例不到30%,中文覆盖率较低。

(2)已采集业务系统元数据已有中文名称的表及字段问题:

① 中文名称为英文名称

② 中文名称为数字

③ 中文名称为符号

④ 中文名称为乱码

⑤ 中文名称为以上四种的结合

针对以上两种元数据问题,制定了分期分批次,按照重点盘点业务系统来进行元数据中文信息补全完善工作,并在规定的时间周期内得到了有效成果(示例):

数据治理.jpg

Step2:自上而下+自下而上,形成资产目录分类

结合业务系统元数据中文信息补全工作成果,自下而上梳理系统间业务关系、数据库、数据表、数据字段等元数据信息,总结出主题域资产分类;依据主题域定义及范围和参考证券期货行业数据模型分类、行业业务活动、某证券公司数据战略设计等信息自上而下梳理主题域资产分类,汇总合并二者整理结果,与某证券公司内部业务部门、技术部门确认目录分类,最终形成各主题域资产分类:

数据治理.jpg

数据资产目录分类样例图

 Step3:利用DDC形成可视化数据资产目录,整理总结资产报告

将业务系统表字段信息填入对应资产目录分类,形成数据资产目录文件,并结合DDC数据目录服务平台构建出多视角的可视化数据资产目录,便于不同用户查数、找数。整理总结数据资产盘点方法、存在的数据问题及对应解决方案,形成资产盘点报告。

数据治理.jpg

DDC资产目录样例图


资产盘点是一个长效工作,即便项目结束,资产盘点工作也需要持续进行,及时更新资产目录内容。协助某证券公司数据资产的摸底盘点工作,最终在公司数据范围内形成主数据资产可视化目录,并从业务视角、技术视角,结合公司数据标签体系形成网络式数据资产可视化平台,可灵活利用数据资产目录、数据标签来准确、快速定位和查询到业务关心的数据资产,摆脱了之前“查数难、数不准”的问题,为后续一站式数据申请使用服务奠定基础,包含:基础数据服务、标签画像服务及算法模型服务,从而实现“可见”、“可懂”、“可用”的数据资产管理目标。


04 调研访谈,形成主数据标准及主数据管理方案

在此次项目,根据某证券公司的目前关于数据指标的数据治理痛点,协助数据治理上级收集相关指标数据,与现有指标管理系统负责人及技术部门领导进行访谈调研,了解到指标数据当前的管理现状,总结指标数据管理问题,协助制定《指标数据管理办法》,提出统一指标体系建设路径建议。


05 调研访谈,展示已有指标,形成指标管理办法及管理方案

收集已有指标数据,对现有指标管理系统负责人及技术部门领导进行访谈调研,了解到指标数据当前的管理现状,总结指标数据管理问题,制定《指标数据管理办法》,提出统一指标体系建设路径建议。

数据治理.jpg

数据指标体系建设流程


项目总结

数据治理工作并非是简单的上线一个信息化系统,而是一个持续长久的、体系化的过程,需要有组织,有制度,有系统支持。合理分析公司的数据情况和数据的痛点,结合完善的数据治理工具,找到符合自身情况的最佳方案,进而可以提升基金公司自身精细化管理水平,和资产管理行业中的综合竞争力。


基金公司案例

项目背景

某基金管理公司前期已开展数据治理咨询项目,但随着数据治理工作的深入展开,急需数据治理平台工具支撑和管理抓手,促进数据治理能力输出,提升管控效率及自动化水平;同时开展数据资产盘点,结合实际现状及数据质量问题,进一步扩大数据治理范围。


基金公司案例

项目目标

结合某基金管理公司数据治理咨询项目的成果,依托数据治理平台,实现咨询成果的落地与线上化管理。

基于数据资产盘点,打造面向数据服务的数据资产目录。


基金公司案例

项目实施及成果


01 数据资产平台落地数据标准管理

结合数据治理咨询成果的数据标准文档,利用数语DAM数据治理平台的数据标准模块,实现了数据标准的线上化管理,并根据用户范围及使用习惯提供了不同的发布机制和渠道,便于共享和查询。

数据治理.jpg

数据标准样例图


通过DAM数据治理平台中智能对标功能,特别是对关键系统元数据进行映射,建立数据标准与元数据的映射关系。并且,通过DAM落标核验功能模块,对数据标准落标情况进行评估监控。依据发现的落标问题,提出了数据标准在相关系统的落地实施建议方案,并根据管理办法,分期分批地使用管理工具进行更新、发布等工作从而协助某基金公司完成了数据标准落地。

数据治理.jpg

落标核验样例图


02 数据资产盘点,形成数据资产目录

 Step1:业务系统分析,分析并解决数据资产盘点问题

收集整合统计某基金公司指定的业务系统信息,抽取业务系统元数据信息,并进行采用结果数据分析,数据治理平台可以对业务系统的表、字段、数据关系进行自动抓取。而且可以通过分析数据关系形成数据血缘关系,形成数据地图。经分析,初次采用结果如下:

(1)业务系统元数据中文名称覆盖率较低。

(2)已采集业务系统元数据已有中文名称的表及字段问题:

① 中文名称为英文名称

② 中文名称为数字

③ 中文名称为符号

④ 中文名称为乱码


针对以上两种元数据问题,请某基金公司根据实际结果,将需更新元数据信息列表发放到相关业务部门中,提供相关数据信息完善建议,并协助制定了分期分批次数据完善计划,分批次将完善的元数据信息结果通过数据治理平台进行数据更新及质量验证。项目周期中先按照重点盘点业务系统来进行元数据中文信息补全完善工作,并最终在规定的时间周期内得到了有效成果:

数据治理.jpg


Step2:自上而下+自下而上,形成资产目录分类,利用DDC落地数据资产管理

结合业务系统元数据中文信息补全工作成果及某基金公司治理小组的数据资产目录设计结果;依据最终确认的数据资产目录结果,利用数据治理平台落地数据治理成果。在这个过程中某基金公司数据治理小组充分参考了企业数据战略、企业数据架构、行业数据模型、业务流程设计出适合本企业的数据资产目录。

按照数据资产目录结果文档,并结合DDC数据目录服务平台构建出多视角的可视化数据资产目录,便于不同用户查数、找数。整理总结数据资产盘点方法、存在的数据问题及对应解决方案,形成资产盘点报告。


03 总结数据治理成果,形成数据资产统计大屏

根据数据治理平台落地成果及资产目录梳理展示结果,开发实现并展示整体数据资产统计大屏,开放给全公司人员,进一步推广数据治理工作。

数据治理.jpg

数据治理统计大屏样例图


项目总结

数据治理工作是一个持续长久的、体系化的过程,需要有组织,有制度,有系统支持。数语科技的DAM及DDC数据治理平台,能有效地结合某基金公司的数据治理成果及进行完善的数据治理工作落地,能有效地支撑基金管理公司的数字化转型工作,提升自身精细化管理水平和在基金行业资产管理中的综合竞争力。




关于Datablau

Datablau创建于2016年,核心创始和研发团队全部来自于原CA erwin,天然具有世界级产品厂商的血缘和水准,是国内数据治理的第一品牌。依托多年的行业积累和技术沉淀,Datablau在产品设计层面充分发挥了后天优势,实现了集数据建模、数据目录、数据质量和数据准备为一体的企业级数据治理平台,全面满足企业对于数据治理的客观需求。
目前Datablau在以建行为代表的六大国行、九大股份、城商行、人寿人保为代表的保险行业、两大电网、证券基金TOP10、华为海信为首的制造业等大型客户得到实际应用并深受好评,Datablau已成为企业数据治理领域的领导厂商。

数据治理.jpg


推荐阅读 查看更多