1. 金证大数据平台概述

     随着金融科技前沿技术的发展，分布式系统与大数据应用已经成为趋势和潮流。金融机构在大数据和人工智能领域的投入比重越来越高，基于大数据的日志分析、智能投顾、智能风控等金融应用风生水起。金证凭借深厚的技术积累和对行业的深刻理解，积极开展基于大数据技术方面的研究和应用。

    2018年4月，上海金证高科技有限公司（以下简称“上海金证”）获得全国首批《数据管理能力成熟度评估模型》（DCMM）国家标准推广应用试点评估机构资质。作为全国首批试点机构，金证将充分发挥自身的技术优势，为我国大数据产业的健康发展提供源源不断的技术力量支持。

     金证大数据平台由金证研发中心和上海金证共同研发，结合大数据分析技术与数据挖掘技术，为客户提供大数据分布式ETL、大数据存储、大数据建模、大数据分析与挖掘、大数据可视化服务的基础性平台。

     2. 金证大数据平台定位

     对外：金证大数据平台聚焦于金融行业，以证券柜台系统的基础数据为依托，客户动态行为数据、中间件数据为辅，提供基础的数据服务与统计，为金融机构实现大数据精准营销、大数据风控、大数据运维等打下数据基础。

对内：金证大数据平台作为各业务单位研发大数据应用的基础性平台，支持其在此平台的基础上衍生出各自的大数据产品，同时大数据平台可作为金证2.0、3.0业务平台中的PaaS系统，为公司2.0、3.0业务的发展打下技术基础。

3. 金证大数据平台技术架构

金证大数据平台主要由以下模块组成：

数据ETL：主要负责数据的采集、清洗、标准化，主要负责对外部应用系统 、CMDB、网络数据、中间件日志和数据（TOMCAT、NGINX、ESB、KCXP/KCBP等）进行采集、清洗，输出到分布式文件系统里，或是实时传输到数据分析模块；

数据存储：对各其他模块产生的数据进程存储的模块，主要为大数据存储解决方案；

数据建模：对数据进行分层处理，支持SQL查询分析、元数据管理等功能；

数据分析：导入采集过来的数据，建立数据分析模型并支持传统的SQL分析与查询，支持实时搜索，支持实时流分析计算，通过分类、聚类、回归、异常检测等机器学习算法支持人工智能模型的训练与预测；

可视化及报表：对数据进行可视化编辑与展示，支持可视化的报表编辑；

任务调度：统一的任务调度平台，对ETL任务、分析任务等进行有计划的调度；

数据管理：对平台的安装、部署、监控以及对数据ETL、数据存储、数据建模等进行统一管理的平台。

        4. 金证大数据平台的产品模块

        4.1 数据ETL

数据ETL模块以插件的方式支持多种类型的数据采集方式（日志文件、多种数据库、流数据方式等）；

数据ETL模块主要集成的开源技术有FLUME、SQOOP；

数据ETL模块同时支持实时采集用户离线批量数据采集；

数据的清洗和标准化由ETL模块的插件完成。

     4.2 数据存储

数据存储模块主要解决大数据存储及查询性能问题；

数据仓库的数据主要由HIVE存储；

数据模型数据主要由HBASE存储；

应用层数据由HBASE、ES、MYSQL存储。

4.3 数据建模

数据建模沿用原数据仓库建模技术对数据进行业务模型及物理模型的抽象；

数据建模模块主要包含可视化建模、SQL建模、元数据管理、业务模型与物理模型相互转换等功能。

4.4 数据分析

数据分析模块主要解决大数据分析和挖掘问题，通过对数据模型进行训练，得到接近准确的预测算法，从而对未知数据进行预测，以达到对业务精准判断的目标；

数据分析模块支持SPARK、R语言、SQL、FLINK等多种分析方式，并支持所有常见类型的人工智能算法。

4.5 可视化及报表

可视化及报表模块主要解决数据的图形可视化和报表的问题；

可视化及报表的主要功能点为：数据集视化拖拽配置、基于echarts的图形定制、可随意拖拉拼装的报表定制、报表任务、报表输出（EMAIL\文件\URL等）。

5. 金证大数据平台展示

5.1 任务调度

5.2 数据ETL

5.3 数据建模

5.4 数据分析

5.5 可视化与报表

6. 金证大数据平台应用

6.1. 构建基于金证中间件的业务数据分析系统

通过金证大数据平台的ETL功能、数据分析功能、数据可视化及报表功能，加上一些定制化的页面开发，我们实现了基于金证中间件的业务数据分析系统。

本系统从KESB（支持消息复制模式）、KCBP、KCXP等中间件中采集消息数据及其他性能相关数据，通过ETL到HDFS和KAFKA中，利用SPARK计算，将计算出的结果存储到SQL数据库和ES中，再通过前端进行数据展示。

中间件业务数据分析系统以类似行情的方式展示中间件上的业务调用情况，部分界面展示如下：

6.2 大数据客户画像系统

大数据客户画像系统是基于金证大数据平台的另一应用，目前主要应用于证券行业、消费金融行业。通过金证大数据平台的分析功能，我们可实现对客户基本信息、客户行为信息等进行标签化，同时应用数据挖掘中的人工智能模型，对客户的行为和习惯进行预测，实现精准信息投递，从而为精准营销打下基础。

客户画像平台的部分截图如下：