0
| 本文作者： 胡敏 | 2023-03-31 17:07 |
2019年1月，CDH背后的公司Cloudera宣布與Hortonworks（一家圍繞著大數(shù)據(jù)平臺去做發(fā)行版的公司）合并，形成了新的Cloudera公司。
兩家公司合并之后，迅速對產(chǎn)品進(jìn)行了整合推出了新一代產(chǎn)品——CDP，同時也宣布在2021年底結(jié)束對CDH6的服務(wù)支持。
這給國內(nèi)企業(yè)敲醒警鐘，要將以往使用的CDH大數(shù)據(jù)平臺進(jìn)行全面的遷移。
而時間拉到2021年12月29日，距離元旦僅三天，央行發(fā)布的一紙公文——《金融大數(shù)據(jù)平臺總體技術(shù)要求》，在金融圈里炸開了鍋。
以前的文件可能是從戰(zhàn)略層面對金融機(jī)構(gòu)的數(shù)據(jù)安全要求，但這一份文件十分細(xì)化，直接從大數(shù)據(jù)平臺的設(shè)計、開發(fā)、應(yīng)用等角度，為金融機(jī)構(gòu)的大數(shù)據(jù)平臺建設(shè)提供了清晰指導(dǎo)。
這份文件傳遞的信號是，金融機(jī)構(gòu)已經(jīng)沒有時間再繼續(xù)猶豫、觀望，大數(shù)據(jù)平臺自主可控建設(shè)勢在必行。
在4個月后，國內(nèi)某大型基金公司做出重大決策，決心對大數(shù)據(jù)平臺進(jìn)行一場大手術(shù)，將在CDH大數(shù)據(jù)平臺上的數(shù)據(jù)進(jìn)行平滑遷移到騰訊云TBDS大數(shù)據(jù)平臺。
據(jù)騰訊云高級大數(shù)據(jù)架構(gòu)師楊文龍介紹，他們從4月開始與基金公司接洽、商討，直到8月才開始正式進(jìn)駐開干，而此時，留給他們完成CDH大數(shù)據(jù)平臺的平滑遷移時間僅剩下半年。
這可能是當(dāng)下許多金融機(jī)構(gòu)進(jìn)行系統(tǒng)遷移的真實寫照：時間緊、任務(wù)重、壓力大。
為解決“信息系統(tǒng)遷移的難點及解法”，3月25日，騰訊云舉辦了2023年首期 Techo Day （騰訊技術(shù)開放日），這一期，騰訊云與業(yè)內(nèi)專家以“金融核心系統(tǒng)”為典型場景，分享如何更好地切換、平移、使用國產(chǎn)化軟件。
在活動上，專家們許多具體、鮮活案例分享，讓我們有機(jī)會更深入了解金融機(jī)構(gòu)變革的細(xì)枝末節(jié)，以及他們的真實需求。
在人體手術(shù)中，心臟移植手術(shù)難度往往最高的一類手術(shù)。第一，病人不能沒有心臟，手術(shù)移植速度必須要快；第二，移植后，病人還可能存在移植排斥反應(yīng)。沒有到萬不得已，一般都不會做如此冒險的手術(shù)。
放在金融機(jī)構(gòu)也是如此，關(guān)系到核心業(yè)務(wù)的系統(tǒng)一般不會輕易更換，一來是工程量大成本高，二來是擔(dān)憂新系統(tǒng)的穩(wěn)定性、可靠性。
也因如此，過去許多人都在喊“去IOE”，但身體依舊誠實，繼續(xù)采用老三樣。
不過這幾年外部形勢嚴(yán)峻。從2019年至今，已有超過600家中國企業(yè)、機(jī)構(gòu)等被列入美國“實體清單”，相關(guān)商品和技術(shù)的制裁管控，已經(jīng)成為導(dǎo)致企業(yè)生產(chǎn)停滯，威脅生存安全的重大隱患。
這讓越來越多的企業(yè)意識到，只有將軟件的自主可控掌握在自己手中，才能保障企業(yè)的命脈。
而從政策層面來看，這幾年監(jiān)管頂層設(shè)計反復(fù)強(qiáng)調(diào)推動金融機(jī)構(gòu)加速信息系統(tǒng)的國產(chǎn)替代。
從2014年中國銀監(jiān)會與國家發(fā)改委、工信部及科技部發(fā)布《關(guān)于應(yīng)用安全可控信息技術(shù)加強(qiáng)銀行業(yè)網(wǎng)絡(luò)安全和信息化建設(shè)的指導(dǎo)意見》，再到2022年1月中國人民銀行印發(fā)的《金融科技發(fā)展規(guī)劃（2022-2025年）》，守住金融數(shù)據(jù)安全線的緊迫性不斷升級。
在這種背景之下，2020年，國家宣布了第一批國產(chǎn)化試點金融機(jī)構(gòu)，包括主要的國有大行、頭部券商和交易所等，要求國產(chǎn)基礎(chǔ)軟硬件采購額占其IT外采的5%-8%。
2021年，國產(chǎn)化進(jìn)程進(jìn)一步推進(jìn)，百余家金融機(jī)構(gòu)被納入到國產(chǎn)化推廣計劃中，并要求其國產(chǎn)基礎(chǔ)軟硬件采購額占其IT外采提升至10%-15%。
再到2022年，國產(chǎn)化推廣計劃擴(kuò)容至全行業(yè)5000余家金融機(jī)構(gòu)，進(jìn)入全面推廣階段，國產(chǎn)基礎(chǔ)軟硬件采購額在IT外采占比有望提高至15%-25%。
這對于國產(chǎn)軟硬件廠商來說，是一次全新的機(jī)會。根據(jù)天風(fēng)證券估算，預(yù)計到2025年，金融國產(chǎn)替代的發(fā)展規(guī)模將突破3000億元。不過各類廠商要想從這個市場中分一杯羹，也沒有想象中這邊簡單。
思考一：遷移能否平穩(wěn)、以及帶來業(yè)務(wù)性能的提升？
對于機(jī)構(gòu)來說，他們所關(guān)心的第一個問題是：別出岔子，保證系統(tǒng)平穩(wěn)遷移。
上文提到2022年8月起，騰訊云就在幫助某大型基金公司進(jìn)行CDH大數(shù)據(jù)平臺遷移。為在給定時間內(nèi)幫助客戶平滑遷移，他們將整個項目拆解成為了三個重要階段：
第一階段，業(yè)務(wù)驗證期，先讓新平臺完成歷史數(shù)據(jù)遷移、數(shù)據(jù)接入、調(diào)度任務(wù)配置、業(yè)務(wù)程序部署等任務(wù)，同時老的CDH平臺持續(xù)提供業(yè)務(wù)服務(wù)，進(jìn)行雙跑觀察，以備業(yè)務(wù)切換不成功及時換回到老平臺。
第二階段，業(yè)務(wù)切換期，在驗證新平臺后，將業(yè)務(wù)系統(tǒng)全面切換到新平臺，據(jù)了解該項目最先遷移的是營銷中臺這一業(yè)務(wù)場景數(shù)據(jù)。
第三階段：業(yè)務(wù)觀察期，檢查是否存在應(yīng)用程序未遷至新平臺，并持續(xù)觀察驗證新平臺運(yùn)轉(zhuǎn)情況，只有確保新系統(tǒng)正常運(yùn)轉(zhuǎn)，才算是正式遷移完成。
“整個遷移過程壓力還是挺大的?！睏钗凝垖追寰W(wǎng)(公眾號：雷峰網(wǎng))表示，一方面時間很緊迫，第二任務(wù)也很重。為了保質(zhì)保量，針對該項目騰訊成立了一個有20多名成員的專項小組，開啟遷移工作。
據(jù)了解，到今年，項目一期的任務(wù)已經(jīng)完成，營銷中臺、TA系統(tǒng)平滑遷移。
不過，金融機(jī)構(gòu)所期待不僅只是系統(tǒng)平滑遷移，還有新系統(tǒng)是否能在性能上有所提升。
楊文龍?zhí)岬娇蛻籼嵝枨髸r，明確要求希望遷移至騰訊云TBDS大數(shù)據(jù)平臺后，計算效率能顯著提升。
原來CDH大數(shù)據(jù)平臺，只支持T+1的計算分析能力，也就是說平臺會在12點之后收集好前一天的數(shù)據(jù)，然后開足算力對這些數(shù)據(jù)進(jìn)行分析，以便運(yùn)營同事第二天上班能仔細(xì)琢磨這個仗怎么打。
但近幾年，互聯(lián)網(wǎng)金融發(fā)展迅猛，購買基金的客戶人數(shù)開始成倍增加，機(jī)構(gòu)需要快速結(jié)合用戶畫像對應(yīng)調(diào)整推銷策略、營銷策略等，但有時候用戶十分活躍，產(chǎn)生巨量數(shù)據(jù)，前一天的數(shù)據(jù)分析結(jié)果可能要等到早上9點、10點，這對運(yùn)營同事來說比較晚了。
據(jù)了解，在遷移騰訊云TBDS大數(shù)據(jù)平臺后，數(shù)據(jù)分析時長需要從原來6小時縮短到3小時內(nèi)，營銷同事在上班前就可拿到運(yùn)營數(shù)據(jù)表，極大提升了營銷同事工作效率。
同時，新一代TBDS融合了更高版本的大數(shù)據(jù)生態(tài)組件，除了解決數(shù)據(jù)遷移難等問題，還具備云原生能力。在數(shù)據(jù)存儲、計算資源上，實現(xiàn)徹底解藕和靈活擴(kuò)縮容，解決了以往存算一體架構(gòu)下的調(diào)度難題，幫助平臺調(diào)度提效10倍以上。
未來在降本增效的潮流下，TBDS也朝著統(tǒng)一存儲、統(tǒng)一元數(shù)據(jù)管理、統(tǒng)一開發(fā)工具、統(tǒng)一運(yùn)維管控的方向演進(jìn)，降低客戶在存儲和開發(fā)上的資源成本，使用遷移后的TBDS大數(shù)據(jù)平臺，預(yù)計可以為客戶帶來20%以上的成本優(yōu)化和資源利用率提升。
思考二：遷移能否做到盡可能的開放兼容？
每一次系統(tǒng)的替換背后，除有許多遷移成本之外，還需要考慮新系統(tǒng)變動帶來的人員習(xí)慣適應(yīng)等等問題。
核心系統(tǒng)不比其他的系統(tǒng)，現(xiàn)階段如果猛然給金融機(jī)構(gòu)用一個全新的系統(tǒng)，對于他們來說是很難接受的。
就像是一個長期使用安卓手機(jī)的人，突然換了一個蘋果手機(jī)，由于操作系統(tǒng)的不同，短時間內(nèi)很難適應(yīng)。
所以對于騰訊云而言，他們最初思考的問題并不是遷移，而是如何尊重客戶的原有使用習(xí)慣，積極去彌合系統(tǒng)間的差異，適配客戶既存的工具鏈。
"我們的目標(biāo)就是讓客戶體驗到騰訊云在專有云場景落地時候的無侵入感，帶給客戶絲滑體驗。"騰訊專有云應(yīng)用和系統(tǒng)穩(wěn)定性負(fù)責(zé)人張曉宇對雷峰網(wǎng)說道。
2020年，騰訊云與國有大行展開專有云建設(shè)時，前幾個月的時間，他們都在專注于不同系統(tǒng)之間的融合問題。
讓張曉宇印象很深刻的一個案例是：當(dāng)時客戶內(nèi)部有多個云平臺，都是使用了packer工具統(tǒng)一管理鏡像，而實際上騰訊專有云（TCE）有其他通用的解決方案。
"為了讓客戶在使用時TCE時能夠復(fù)用原有的工具鏈，我們用了極短時間實現(xiàn)了packer的tecent-plugin release版本。這項工作幫助該銀行原有系統(tǒng)實現(xiàn)了對TCE的集成，感受不到新平臺引入帶來的使用上的割裂。"
思考三：遷移如何確保系統(tǒng)長久保持穩(wěn)定？
這幾年宕機(jī)事故常有發(fā)生，原因更是五花八門，谷歌云曾因自動化失效導(dǎo)致宕機(jī)、AWS 曾因數(shù)據(jù)中心出現(xiàn)硬件問題導(dǎo)致宕機(jī)、微軟 Azure愛爾蘭數(shù)據(jù)中心曾因高溫和打雷陷入宕機(jī).......
這些問題一旦出現(xiàn)，給企業(yè)帶來的損失和影響是巨大的，尤其是對于金融機(jī)構(gòu)而言，所以確保系統(tǒng)高可用性也是客戶在系統(tǒng)遷移過程中思考的重點。
高可用架構(gòu)是指系統(tǒng)或應(yīng)用程序在遇到單點故障時，能夠快速自動切換到備份系統(tǒng)或?qū)嵗瑥亩ＷC系統(tǒng)的持續(xù)穩(wěn)定運(yùn)行。
衡量一個系統(tǒng)的高可用性，有兩個指標(biāo)，第一是RPO，當(dāng)系統(tǒng)出現(xiàn)故障后，數(shù)據(jù)會不會有所丟失，以及丟失時間有多長；第二是RTO，即服務(wù)是否中斷，以及業(yè)務(wù)停止服務(wù)的時間是多長。
一般而言，銀行都要求數(shù)據(jù)丟失為零，而服務(wù)中斷時間要控制在分鐘級別。
究竟如何確保銀行系統(tǒng)的安全穩(wěn)定，在這場分享會中，張曉宇重點分享了騰訊云的同城3AZ多活方案。
AZ則是Availability Zone的縮寫，指的是數(shù)據(jù)中心的可用區(qū)域。單AZ方案指的是系統(tǒng)或應(yīng)用程序只部署在一個可用區(qū)域中，當(dāng)該可用區(qū)域出現(xiàn)故障時，整個系統(tǒng)將會宕機(jī)。類比一座房子只有一扇門，一旦門出現(xiàn)問題，就會導(dǎo)致整個房子無法出入。
而3AZ方案指的是系統(tǒng)或應(yīng)用程序在三個可用區(qū)域中部署，當(dāng)其中一個可用區(qū)域出現(xiàn)故障時，系統(tǒng)可以快速自動切換到另一個可用區(qū)域。
類比一座房子有三個出入口，即使其中一個出入口出現(xiàn)問題，仍然可以使用其他兩個出入口，這就從而保證系統(tǒng)的持續(xù)穩(wěn)定運(yùn)行。
3AZ方案可以盡可能保證系統(tǒng)運(yùn)行的穩(wěn)定性，但落到具體現(xiàn)實情境中，3AZ方案所消耗的計算資源、網(wǎng)絡(luò)資源等，綜合起來看要比雙AZ高出30-40%，而且管理的難度也更大。
張曉宇也表示，每一種架構(gòu)應(yīng)用的背后，不僅要基于技術(shù)，還有基于成本、運(yùn)維周邊的配套等等相關(guān)一系列因素進(jìn)行綜合考量。
騰訊云對此給出的方案是具體業(yè)務(wù)具體分析，關(guān)乎交易等核心業(yè)務(wù)則采用3AZ方案，而一些服務(wù)級別相對更低一些則會采用介于3AZ與雙AZ之間的方案。
放大視野，觀察全行業(yè)，不可否認(rèn)，從OA系統(tǒng)、到非核心業(yè)務(wù)系統(tǒng)、再到核心業(yè)務(wù)系統(tǒng)，金融國產(chǎn)替代浪潮已經(jīng)到來，而這帶來的不僅是金融業(yè)信息系統(tǒng)的一次解耦，也是整個行業(yè)利益重新分配的過程，對原本只能在外企底下?lián)屖车膰a(chǎn)軟硬件企業(yè)，這將是一次全新的機(jī)會。
縮小視野，深入企業(yè)內(nèi)部，又會發(fā)現(xiàn)，這場核心系統(tǒng)的變革之旅遠(yuǎn)遠(yuǎn)沒有想象中那般簡單。時間緊迫下，如何保證系統(tǒng)平滑遷移？如何在穩(wěn)定性要求升級同時，平衡好成本？這些都是諸多參與方需要繼續(xù)長期探討的問題。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
