喻華麗:自主打造智能監(jiān)管系統(tǒng),科技賦能交易全程監(jiān)管——深圳證券交易所交易監(jiān)管系統(tǒng)的建設(shè)及成效
《金融電子化》雜志
時(shí)間:2023-11-24
近年來(lái),以大數(shù)據(jù)、人工智能為代表的新一代信息科技,引發(fā)金融市場(chǎng)深刻變革創(chuàng)新,一方面交易越來(lái)越高效便捷,另一方面異常交易和違法違規(guī)行為越來(lái)越隱蔽復(fù)雜。隨著資本市場(chǎng)全面深化改革,監(jiān)管理念要求更加精準(zhǔn)、透明、高效,利用科技手段提升監(jiān)管效能,已成為全球金融監(jiān)管機(jī)構(gòu)共識(shí)。中國(guó)證監(jiān)會(huì)高度重視監(jiān)管科技,加快推進(jìn)技術(shù)與業(yè)務(wù)深度融合,強(qiáng)化科技對(duì)監(jiān)管的有效支撐。
交易監(jiān)管系統(tǒng)是深圳證券交易所(以下簡(jiǎn)稱深交所)貫徹黨中央關(guān)于資本市場(chǎng)的重大決策部署,落實(shí)加強(qiáng)對(duì)交易的全程監(jiān)管,依法從嚴(yán)打擊證券違法活動(dòng)等監(jiān)管要求,完全自主設(shè)計(jì)研發(fā),具有完整知識(shí)產(chǎn)權(quán)和中國(guó)特色的智能化證券交易監(jiān)管系統(tǒng)。交易監(jiān)管系統(tǒng)構(gòu)建全面支持實(shí)時(shí)監(jiān)控、調(diào)查分析、監(jiān)管流程、業(yè)務(wù)研究的一體化工作平臺(tái),關(guān)鍵性能指標(biāo)和業(yè)務(wù)支持能力達(dá)到國(guó)際領(lǐng)先水平,是科技賦能監(jiān)管的應(yīng)用典范。
一、業(yè)務(wù)目標(biāo)
交易監(jiān)管系統(tǒng)是深交所的核心監(jiān)管應(yīng)用系統(tǒng),是開(kāi)展交易監(jiān)控工作的主要抓手,直接用戶為深交所交易監(jiān)管、公司管理、會(huì)員管理、基金管理和債券管理等一線監(jiān)管部門(mén),間接用戶為與深交所交易監(jiān)管相關(guān)的上市公司、證券公司、投資者等市場(chǎng)參與者。系統(tǒng)滿足了以下業(yè)務(wù)目標(biāo):一是一站式平臺(tái),支持從報(bào)警、分析、報(bào)告、處理、歸檔的全流程業(yè)務(wù)處理,建立業(yè)務(wù)研究、驗(yàn)證、測(cè)試、反饋、評(píng)估、優(yōu)化的長(zhǎng)效機(jī)制;二是全品種交易監(jiān)管,支持股票、基金、債券、期權(quán)等全品種實(shí)時(shí)和事后交易監(jiān)管,跨品種聯(lián)動(dòng)監(jiān)管;三是數(shù)據(jù)源全面,結(jié)合證券市場(chǎng)內(nèi)外數(shù)據(jù),從全結(jié)構(gòu)數(shù)據(jù)中提取信息并綜合使用,增強(qiáng)交易監(jiān)管數(shù)據(jù)全面性;四是可視化場(chǎng)景交互,對(duì)交易重演、賬戶關(guān)聯(lián)分析等場(chǎng)景結(jié)合業(yè)務(wù)目標(biāo)提供視覺(jué)效果豐富、交互操作靈活的數(shù)據(jù)可視化能力;五是業(yè)務(wù)規(guī)則配置化,實(shí)時(shí)計(jì)算、事后監(jiān)控和線索篩查引擎的規(guī)則參數(shù)可靈活配置,核心業(yè)務(wù)能力服務(wù)化;六是安全可審計(jì),滿足市場(chǎng)交易監(jiān)管特有的業(yè)務(wù)安全審計(jì)要求。
交易監(jiān)管系統(tǒng)從交易系統(tǒng)、結(jié)算系統(tǒng)、業(yè)務(wù)管理系統(tǒng)、互聯(lián)網(wǎng)等多渠道采集、整合海量數(shù)據(jù),提取監(jiān)管所需信息,嵌入交易監(jiān)控指標(biāo)和內(nèi)幕交易、市場(chǎng)操縱、趨同交易(老鼠倉(cāng))等違法違規(guī)線索篩查分析模型,研發(fā)關(guān)聯(lián)賬戶分析、投資者畫(huà)像、盈虧分析、交易重演等智能化可視化輔助分析工具,搭建實(shí)時(shí)監(jiān)控、調(diào)查分析、事后核查等一體化業(yè)務(wù)工作平臺(tái),有效支撐異常交易實(shí)時(shí)監(jiān)測(cè)監(jiān)控、市場(chǎng)運(yùn)行情況分析、違法違規(guī)線索篩查分析等交易全程監(jiān)管業(yè)務(wù)。
二、技術(shù)目標(biāo)和技術(shù)框架
交易監(jiān)管系統(tǒng)基于大數(shù)據(jù)、流計(jì)算等新一代信息技術(shù),系統(tǒng)實(shí)現(xiàn)了以下技術(shù)目標(biāo):一是高可用,采用同城數(shù)據(jù)平臺(tái)雙活雙加載,數(shù)據(jù)應(yīng)用多服務(wù)整體高可用的部署方案,通過(guò)集群化部署、數(shù)據(jù)副本冗余、多服務(wù)等方式,實(shí)現(xiàn)數(shù)據(jù)和服務(wù)高可用。二是高性能,處理能力與深交所第五代交易系統(tǒng)匹配,當(dāng)前系統(tǒng)實(shí)際峰值50萬(wàn)筆/秒的訂單,訂單入庫(kù)時(shí)延不超過(guò)1秒,日處理訂單9億筆;簡(jiǎn)單交互式查詢不超過(guò)1秒,復(fù)雜統(tǒng)計(jì)查詢不超過(guò)5秒。三是高容量,可容納5萬(wàn)只證券產(chǎn)品,5億個(gè)證券賬戶,支持完整歷史數(shù)據(jù)庫(kù)內(nèi)分析能力。四是可擴(kuò)展,支持業(yè)務(wù)的靈活擴(kuò)展,支持處理性能的水平擴(kuò)展。五是可移植,系統(tǒng)具備國(guó)際化、本地化的可移植性。
交易監(jiān)管系統(tǒng)完全自主研發(fā),采用全新的系統(tǒng)架構(gòu)和軟件設(shè)計(jì)理念,搭建業(yè)內(nèi)首個(gè)基于開(kāi)放開(kāi)源、分布式架構(gòu)的企業(yè)級(jí)大數(shù)據(jù)平臺(tái),業(yè)內(nèi)首個(gè)基于高效流計(jì)算技術(shù)的實(shí)時(shí)計(jì)算引擎,自主研發(fā)離線計(jì)算平臺(tái),探索應(yīng)用高性能可視化的客戶端技術(shù),覆蓋大數(shù)據(jù)、流計(jì)算等前沿技術(shù)領(lǐng)域。在數(shù)據(jù)資源采集方面,支持豐富的交易監(jiān)管數(shù)據(jù)源,包括高速消息流實(shí)時(shí)從交易系統(tǒng)接收交易數(shù)據(jù),支持場(chǎng)外數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)等,增強(qiáng)交易監(jiān)管數(shù)據(jù)的全面性。在數(shù)據(jù)存儲(chǔ)平臺(tái)方面,采用混合的數(shù)據(jù)平臺(tái)架構(gòu),既有傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)、MPP、Hadoop等數(shù)據(jù)庫(kù)產(chǎn)品,也有搜索引擎、圖數(shù)據(jù)庫(kù)、機(jī)器學(xué)習(xí)等特定數(shù)據(jù)分析領(lǐng)域的產(chǎn)品。在計(jì)算平臺(tái)方面,研發(fā)了業(yè)內(nèi)首個(gè)基于流計(jì)算的實(shí)時(shí)計(jì)算引擎,支持高效實(shí)時(shí)報(bào)警;研發(fā)了交易重演、盈虧計(jì)算、關(guān)聯(lián)分析等基礎(chǔ)業(yè)務(wù)服務(wù)組件和統(tǒng)計(jì)分析,支持對(duì)海量數(shù)據(jù)進(jìn)行深度挖掘和復(fù)雜分析;自主研發(fā)了調(diào)度系統(tǒng)、ETL系統(tǒng)、數(shù)據(jù)服務(wù)、報(bào)表服務(wù)等。在業(yè)務(wù)管理方面,通過(guò)工作流引擎與周邊系統(tǒng)實(shí)時(shí)聯(lián)通,實(shí)現(xiàn)一站式流程協(xié)作。在前端應(yīng)用框架方面,基于開(kāi)源技術(shù)開(kāi)發(fā)了適配大數(shù)據(jù)量信息展示的圖形表格組件和統(tǒng)計(jì)分析組件,提供高效的可視化展示和靈活的交互式操作界面。在運(yùn)維保障支持方面,自主開(kāi)發(fā)了業(yè)務(wù)運(yùn)維管理系統(tǒng)。系統(tǒng)技術(shù)框架如圖所示。
三、系統(tǒng)創(chuàng)新點(diǎn)
1.研發(fā)業(yè)內(nèi)首個(gè)基于高效流計(jì)算技術(shù)的實(shí)時(shí)報(bào)警引擎,性能指標(biāo)達(dá)到國(guó)際領(lǐng)先水平,大大提升實(shí)時(shí)監(jiān)控報(bào)警能力。交易監(jiān)管系統(tǒng)在業(yè)內(nèi)率先研究流計(jì)算技術(shù),在實(shí)時(shí)計(jì)算平臺(tái)方面,為提高數(shù)據(jù)吞吐能力,降低實(shí)時(shí)計(jì)算時(shí)延,實(shí)時(shí)流計(jì)算平臺(tái)核心采用開(kāi)源分布式流計(jì)算技術(shù),搭建實(shí)時(shí)計(jì)算框架。創(chuàng)造性地提出和實(shí)現(xiàn)Flink+Kafka實(shí)時(shí)計(jì)算網(wǎng)絡(luò)、時(shí)間映射等解決方案。流計(jì)算技術(shù)應(yīng)用效果顯著,一是實(shí)時(shí)監(jiān)控報(bào)警效率大大提升,每秒可處理申報(bào)筆數(shù)50萬(wàn)筆/秒,日處理訂單近9億筆,報(bào)警平均延遲在5秒以內(nèi),關(guān)鍵性能指標(biāo)達(dá)到國(guó)際領(lǐng)先水平。二是支持多個(gè)復(fù)合型復(fù)雜報(bào)警指標(biāo)同時(shí)運(yùn)行,已利用流計(jì)算報(bào)警引擎開(kāi)發(fā)報(bào)警指標(biāo)100余個(gè),大大提升報(bào)警精確性。
2.搭建業(yè)內(nèi)首個(gè)基于分布式架構(gòu)的企業(yè)級(jí)大數(shù)據(jù)平臺(tái),海量數(shù)據(jù)存儲(chǔ)和處理能力大幅提升。在企業(yè)大數(shù)據(jù)平臺(tái)方面,為滿足交易監(jiān)管系統(tǒng)多元化的數(shù)據(jù)分析場(chǎng)景,企業(yè)大數(shù)據(jù)平臺(tái)采用混合的大數(shù)據(jù)平臺(tái)架構(gòu),既包括傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù),也包括MPP、Hadoop分布式大數(shù)據(jù)平臺(tái)、搜索引擎ElasticSearch、圖數(shù)據(jù)庫(kù)Neo4j等NoSQL或NewSQL數(shù)據(jù)庫(kù)。不同類型的數(shù)據(jù)庫(kù),在計(jì)算特征、計(jì)算時(shí)延、數(shù)據(jù)容量、數(shù)據(jù)吞吐等方面各有特長(zhǎng),可互相補(bǔ)充,滿足歷史統(tǒng)計(jì)分析、交互式查詢、高并發(fā)訪問(wèn)、文本檢索等各種場(chǎng)景。
3.自主研發(fā)的企業(yè)數(shù)據(jù)中臺(tái),有效提升數(shù)據(jù)生產(chǎn)力,沉淀企業(yè)級(jí)可復(fù)用能力。交易監(jiān)管系統(tǒng)自主研發(fā)企業(yè)數(shù)據(jù)中臺(tái),降低數(shù)據(jù)開(kāi)發(fā)成本,釋放數(shù)據(jù)生產(chǎn)力。一是自主研發(fā)調(diào)度系統(tǒng)、數(shù)據(jù)采集/同步、ETL平臺(tái)、實(shí)時(shí)計(jì)算平臺(tái)等技術(shù)平臺(tái),滿足交易監(jiān)管系統(tǒng)等數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)匯聚整合、清洗加工需要。二是自主研發(fā)數(shù)據(jù)服務(wù),解耦數(shù)據(jù)應(yīng)用和大數(shù)據(jù)平臺(tái),實(shí)現(xiàn)業(yè)務(wù)服務(wù)能力形式化,研發(fā)指標(biāo)及標(biāo)簽系統(tǒng),構(gòu)建投資者、賬戶等實(shí)體指標(biāo)及標(biāo)簽體系,滿足交易監(jiān)管系統(tǒng)及其他應(yīng)用的數(shù)據(jù)查詢、數(shù)據(jù)推送、大數(shù)據(jù)量結(jié)構(gòu)化文件下載的需要,實(shí)現(xiàn)業(yè)務(wù)服務(wù)能力內(nèi)容資產(chǎn)化。三是自主研發(fā)數(shù)據(jù)開(kāi)發(fā)語(yǔ)言QDSL,統(tǒng)一ETL、報(bào)表、查詢的研發(fā)模式并提供在線IDE,降低開(kāi)發(fā)難度,提高數(shù)據(jù)開(kāi)發(fā)效率。
4.業(yè)內(nèi)率先探索應(yīng)用圖計(jì)算等前沿技術(shù),開(kāi)發(fā)智能化輔助分析工具,有效提高異動(dòng)賬戶分析效率。交易監(jiān)管系統(tǒng)在業(yè)內(nèi)率先探索利用知識(shí)圖譜、圖計(jì)算、可視化等前沿技術(shù),開(kāi)發(fā)關(guān)聯(lián)賬戶識(shí)別分析、投資者畫(huà)像、可視化交易重演等智能化輔助分析工具,全面提升異動(dòng)賬戶的分析效率。一是開(kāi)發(fā)可視化關(guān)聯(lián)賬戶識(shí)別分析模塊。整合多類監(jiān)管數(shù)據(jù),構(gòu)建關(guān)聯(lián)關(guān)系識(shí)別挖掘模型,開(kāi)發(fā)可視化分析圖譜,有效提升賬戶關(guān)聯(lián)關(guān)系挖掘能力和分析效率。二是開(kāi)發(fā)投資者畫(huà)像模塊。從身份背景、交易持股、監(jiān)管檔案等多維度構(gòu)建標(biāo)簽和指標(biāo),并應(yīng)用到多個(gè)業(yè)務(wù)場(chǎng)景,全方位刻畫(huà)投資者主要交易特征。三是開(kāi)發(fā)可視化交易重演工具,實(shí)時(shí)展示投資者申報(bào)所屬檔位、交易前后訂單簿變化、申報(bào)成交占比等情況,動(dòng)態(tài)還原異常交易現(xiàn)場(chǎng)。
5.業(yè)內(nèi)率先搭建一體化業(yè)務(wù)工作平臺(tái),提供場(chǎng)景化服務(wù),有效提升交易監(jiān)管工作的效率和規(guī)范性。交易監(jiān)管系統(tǒng)在業(yè)內(nèi)率先搭建實(shí)時(shí)監(jiān)控、市場(chǎng)分析、調(diào)查分析、事后核查等一體化業(yè)務(wù)工作平臺(tái),全面提升交易監(jiān)管業(yè)務(wù)的規(guī)范化水平和處理效率。一是開(kāi)發(fā)全過(guò)程留痕的電子化工作流并嵌入到業(yè)務(wù)平臺(tái)中,實(shí)現(xiàn)自律監(jiān)管措施、所內(nèi)聯(lián)合監(jiān)管、跨境聯(lián)合監(jiān)管等業(yè)務(wù)流程電子化并自動(dòng)留痕,有效提升業(yè)務(wù)處理的規(guī)范化水平。二是集成篩查模型和分析工具,提供場(chǎng)景化服務(wù)。將篩查模型指標(biāo)和智能分析工具集成到業(yè)務(wù)流程中,為監(jiān)管人員提供引導(dǎo)式場(chǎng)景化服務(wù),有效提高業(yè)務(wù)效率。
四、應(yīng)用成效
1.交易監(jiān)管應(yīng)用。交易監(jiān)管系統(tǒng)自2018年底上線以來(lái),已安全平穩(wěn)運(yùn)行四年多,是深交所交易一線監(jiān)管的利器,有效提升交易監(jiān)管效能。在遏制證券違法犯罪方面,基于交易監(jiān)管系統(tǒng),深交所成功挖掘上報(bào)內(nèi)幕交易、市場(chǎng)操縱、趨同交易(老鼠倉(cāng))等各類違法違規(guī)線索,發(fā)現(xiàn)并協(xié)助查處了證券市場(chǎng)操縱最重量刑案,“吳某某”黑嘴案、“偽市值管理”系列操縱案等一批市場(chǎng)關(guān)注度高、影響力大的大案要案,得到社會(huì)的廣泛關(guān)注和中央電視臺(tái)等主流媒體的全面報(bào)道,有效震懾了違法犯罪分子,保護(hù)投資者合法權(quán)益。在維護(hù)資本市場(chǎng)穩(wěn)定運(yùn)行方面,針對(duì)異常交易行為及時(shí)采取監(jiān)管措施,切實(shí)維護(hù)市場(chǎng)交易秩序;服務(wù)創(chuàng)業(yè)板改革并試點(diǎn)注冊(cè)制、公募REITs推出、全市場(chǎng)注冊(cè)制等重要改革,為改革平穩(wěn)落地提供支持。
2.國(guó)際化推動(dòng)應(yīng)用。交易監(jiān)管系統(tǒng)國(guó)際化版是以交易監(jiān)管系統(tǒng)為基礎(chǔ),以產(chǎn)品化、配置化為理念,全新打造的一個(gè)高效、實(shí)用、好用、靈活的國(guó)際化交易監(jiān)管平臺(tái)?;诮灰妆O(jiān)管系統(tǒng)的技術(shù)架構(gòu),全新構(gòu)建安全、可靠、易維護(hù)的中小規(guī)模國(guó)際化交易監(jiān)管技術(shù)平臺(tái),實(shí)現(xiàn)應(yīng)用界面國(guó)際化,對(duì)外接口標(biāo)準(zhǔn)化,報(bào)警規(guī)則配置化,業(yè)務(wù)能力服務(wù)化?;诮灰妆O(jiān)管系統(tǒng)業(yè)務(wù)平臺(tái)和模塊,重新設(shè)計(jì)包括市場(chǎng)分析、實(shí)時(shí)監(jiān)控、交易重演、證券分析、統(tǒng)計(jì)報(bào)表、外部咨詢、報(bào)警管理、案件管理和系統(tǒng)管理等九大業(yè)務(wù)模塊,支持靈活配置實(shí)現(xiàn)各種定制化報(bào)警和報(bào)表需求,滿足跨品種監(jiān)管、“穿透式”監(jiān)管等不同交易監(jiān)管業(yè)務(wù)場(chǎng)景的需要,國(guó)際化系統(tǒng)是具有中國(guó)特色的交易監(jiān)管解決方案,是支持“一帶一路”國(guó)家戰(zhàn)略的金融創(chuàng)新服務(wù)舉措。
2019年,在商業(yè)公開(kāi)競(jìng)標(biāo)中,深交所擊敗眾多全球頂尖系統(tǒng)供應(yīng)商,成功中標(biāo)巴基斯坦交易所技術(shù)系統(tǒng)升級(jí)項(xiàng)目,于2023年5月15日正式上線啟用,啟用以來(lái)運(yùn)行平穩(wěn),有效支持了交易監(jiān)管。邁出了我國(guó)證券技術(shù)系統(tǒng)走出國(guó)門(mén)的第一步。
3.全行業(yè)促進(jìn)應(yīng)用。一是行業(yè)標(biāo)準(zhǔn)方面,基于交易監(jiān)管系統(tǒng)建設(shè)成果,深交所牽頭完成并發(fā)布了《證券期貨大數(shù)據(jù)平臺(tái)性能測(cè)試指引》,促進(jìn)了行業(yè)標(biāo)準(zhǔn)化。二是行業(yè)示范方面,作為行業(yè)首例大數(shù)據(jù)技術(shù)在核心監(jiān)管系統(tǒng)落地應(yīng)用,在行業(yè)內(nèi)率先探索出一條適用于中國(guó)特色資本市場(chǎng)的交易監(jiān)管系統(tǒng)先進(jìn)技術(shù)路線。為其他交易所、證券公司提供可借鑒可復(fù)制的解決方案,技術(shù)架構(gòu)被行業(yè)參考借鑒。三是行業(yè)推廣方面,建設(shè)成果在深交所行業(yè)技術(shù)聯(lián)盟和技術(shù)大會(huì)進(jìn)行推廣,基于Flink流計(jì)算的“實(shí)時(shí)計(jì)算解決方案”成為阿里云推廣的行業(yè)示范案例。推動(dòng)證券行業(yè)技術(shù)合作發(fā)展,助力提升全行業(yè)科技智能監(jiān)管水平。四是行業(yè)探索方面,通過(guò)國(guó)際化推廣應(yīng)用,為中國(guó)證券技術(shù)系統(tǒng)走出國(guó)門(mén)進(jìn)行有益的探索,服務(wù)“一帶一路”國(guó)家戰(zhàn)略。
未來(lái),深交所將依托交易監(jiān)管系統(tǒng),繼續(xù)大力發(fā)展監(jiān)管科技,提升交易監(jiān)管質(zhì)效,為促進(jìn)資本市場(chǎng)平穩(wěn)健康發(fā)展積極貢獻(xiàn)力量,奮力建設(shè)優(yōu)質(zhì)創(chuàng)新資本中心和世界一流交易所。
版權(quán)所有:深圳證券通信有限公司 備案編號(hào):粵ICP備09098080號(hào) Copyright Shenzhen Securities Communication Co.,Ltd.All Rights Reserved