近日，國內(nèi)領(lǐng)先的對沖基金公司「幻方」宣布，其新一代AI超級計(jì)算機(jī)“螢火一號”，已于2020年3月正式投入運(yùn)行。

該服務(wù)器是由一個(gè)存儲(chǔ)集群和一個(gè)計(jì)算集群組成。存儲(chǔ)集群提供4.1Tbps讀寫帶寬以及1.2PB容量。計(jì)算集群搭載1100張高端顯卡，每秒可以進(jìn)行1.84億億次浮點(diǎn)運(yùn)算，相當(dāng)于4萬臺(tái)個(gè)人電腦算力。

在全球著名對沖基金Two Sigma的主頁上，公司介紹中寫到，只有基于數(shù)據(jù)的、不斷優(yōu)化迭代的科學(xué)方法才是最好投資方式。他們使用42 PB（1PB=1000TB，1TB=1000GB）數(shù)據(jù)用于投資模型，涵蓋了10000個(gè)以上的數(shù)據(jù)源，并使用33萬個(gè)CPU以上的集群處理數(shù)據(jù)。

數(shù)字化時(shí)代

數(shù)字化時(shí)代，基于傳統(tǒng)統(tǒng)計(jì)、計(jì)量的方法已無法處理如此大的數(shù)據(jù)量。而機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的優(yōu)勢隨著大數(shù)據(jù)、計(jì)算機(jī)處理能力的飛速發(fā)展逐漸展現(xiàn)出來。

數(shù)據(jù)驅(qū)動(dòng)的量化策略，是指通過相關(guān)數(shù)據(jù)，直接識別金融市場的模式或規(guī)律，尋找投資機(jī)會(huì)，這一直是對沖基金主流的策略模式之一。在數(shù)字化時(shí)代，這類策略將越來越得到重視，而機(jī)器學(xué)習(xí)自然是這類策略主要的技術(shù)與方法之一。 

全球每年數(shù)據(jù)增長表

數(shù)據(jù)近幾十年都一直在指數(shù)級增長， 當(dāng)5G全面普及，物聯(lián)網(wǎng)中各樣設(shè)備接入互聯(lián)網(wǎng)，每年產(chǎn)生的數(shù)據(jù)還將幾何式爆炸增長。

IDC預(yù)計(jì)，到2025年全球數(shù)據(jù)每年將達(dá)到163ZB。

隨著石油的價(jià)格一降再降，將數(shù)據(jù)比作世界上最有價(jià)值的資源，已然沒有任何疑問。

數(shù)據(jù)將使我們有機(jī)會(huì)改進(jìn)我們的決策，在經(jīng)濟(jì)、社會(huì)中的作用將更加舉足輕重。越來越多的公司使用這些數(shù)據(jù)用于企業(yè)自身決策，并為他們的客戶提供更好的服務(wù)。那些能夠充分利用數(shù)據(jù)為用戶服務(wù)，解決問題的企業(yè)將會(huì)在新的競爭中脫穎而出。

在金融投資領(lǐng)域亦是如此，來自手機(jī)、社交媒體、物聯(lián)網(wǎng)各式傳感器的數(shù)據(jù)，將對金融投資機(jī)構(gòu)的數(shù)據(jù)處理能力提出挑戰(zhàn)。

能收集更大范圍、更實(shí)時(shí)的數(shù)據(jù)，并有能力處理分析并發(fā)現(xiàn)新投資價(jià)值的機(jī)構(gòu)，必將獲得更強(qiáng)的競爭力。

數(shù)據(jù)是墻壁上的投影

信息是用來消除隨機(jī)不確定性的東西。

                                                —— 香農(nóng)（Shannon）

柏拉圖在《理想國》中有一個(gè)著名的比喻——洞穴之喻（Allegory of the Cave）。

設(shè)想在一個(gè)地穴中有一批囚徒，他們自小被鎖鏈?zhǔn)`，不能轉(zhuǎn)頭，只能看見面前洞壁上的影子。

在他們后上方有一堆火，有一條橫貫洞穴的小道，沿小道筑有一堵矮墻，如同木偶戲的屏風(fēng)。

人們扛著各種器具走過墻后的小道，而火光便把那些器物的影像投射到面前的洞壁上，囚徒自然地以為影子是惟一真實(shí)的事物。

【 圖片：洞穴之喻 】

洞穴之喻簡直是關(guān)于事實(shí)與數(shù)據(jù)之間關(guān)系最好的解讀。

數(shù)據(jù)就像印在壁洞上的影像——人們試圖利用低維的數(shù)據(jù)，去描繪一個(gè)高維的事實(shí)。這和我們認(rèn)為，在數(shù)字化時(shí)代亦不存在全局性信息，大抵是一個(gè)含義。

但數(shù)字化時(shí)代，墻壁上將不再是火把的倒影，各種器具進(jìn)行數(shù)據(jù)化處理，可以生成一個(gè)全息的影像，這必然能讓洞穴人感知到一個(gè)更加真實(shí)的世界。

不遠(yuǎn)的未來，隨著物理世界數(shù)字化不斷發(fā)展，數(shù)據(jù)就不再是一個(gè)火把照出的影像，而是成為一個(gè)全息影像。更多維度、更實(shí)時(shí)的數(shù)據(jù)，將幫助我們真正理解我們的周遭環(huán)境、事物以及我們自己。

信息的基本作用是消除人們對事物的不確定性。

信息熵（Information Entropy）是對信息的量化度量，也是對不確定性的度量。關(guān)于信息熵，還有更準(zhǔn)確的公式描述，感興趣的讀者請參考相關(guān)專業(yè)書籍。這里只需要了解，信息和不確定性是逆向關(guān)系，有效信息可以減少不確定性，增加確定性。

金融市場，如果對某個(gè)資產(chǎn)價(jià)格非常不確定，市場參與各方都有不同預(yù)期，資產(chǎn)價(jià)格就會(huì)劇烈波動(dòng)。需要大量信息才能消除這不確定性，隨著信息不斷在市場中傳播，資產(chǎn)價(jià)格的不確定性也不斷下降逐步趨于均衡價(jià)。

我們強(qiáng)調(diào)經(jīng)濟(jì)、社會(huì)中是存在不確定性的。哈耶克有一段關(guān)于經(jīng)濟(jì)不確定性不能被統(tǒng)計(jì)有效消除的論述：”經(jīng)濟(jì)學(xué)家們越來越容易忘記組成整個(gè)經(jīng)濟(jì)體系的經(jīng)常不斷的小變化，其原因之一也許是他們越來越耽于統(tǒng)計(jì)總數(shù)，這種統(tǒng)計(jì)總數(shù)比具體細(xì)節(jié)的運(yùn)動(dòng)表現(xiàn)出更大的穩(wěn)定性。

然而，這種統(tǒng)計(jì)中的相對穩(wěn)定性并不能像統(tǒng)計(jì)學(xué)家時(shí)常想做的那樣以’大數(shù)定律’即隨機(jī)變化的相互補(bǔ)償來解釋。我們必須處理的因素，其數(shù)量并非大得足以使這些偶然力量產(chǎn)生穩(wěn)定性。

貨物和服務(wù)的不間斷流動(dòng)得以維持，是由于持續(xù)不斷的精心調(diào)節(jié)，由于每天要根據(jù)前一天所不知的情況做出新的安排，由于一旦Ａ不能交付就馬上由Ｂ代替?！?/p>

筆者非常認(rèn)同，但數(shù)字化時(shí)代，將改進(jìn)原有人們基于統(tǒng)計(jì)的決策。

隨著收集技術(shù)以及各類傳感器不斷優(yōu)化，生產(chǎn)過程中哪些是由A交付，哪些是由B交付都被記錄下來，再加上實(shí)時(shí)反饋系統(tǒng)，從而有可能實(shí)現(xiàn)更高效的調(diào)度。

而且，原有抽樣統(tǒng)計(jì)中被忽略的變量也將被有效收集，大數(shù)據(jù)不同于統(tǒng)計(jì)樣本抽樣，是更大的樣本集，甚至是全樣本集，有效避免樣本統(tǒng)計(jì)過程中的信息損失。

數(shù)字化時(shí)代離不開機(jī)器學(xué)習(xí)

面對大數(shù)據(jù)集時(shí)，部分統(tǒng)計(jì)學(xué)習(xí)算法無法處理大數(shù)據(jù)的高維、稀疏、海量等特性。

之后，隨著分布式存儲(chǔ)、計(jì)算技術(shù)、分布式機(jī)器學(xué)習(xí)平臺(tái)的發(fā)展，機(jī)器學(xué)習(xí)能夠有效處理更大規(guī)模的數(shù)據(jù)集，大數(shù)據(jù)的價(jià)值才更好的得到體現(xiàn)，才有了數(shù)據(jù)被認(rèn)為是世界上最重要的資源一說。所以，大數(shù)據(jù)與機(jī)器學(xué)習(xí)是相輔相成的。

相對于大數(shù)據(jù)的興起，機(jī)器學(xué)習(xí)、人工智能已經(jīng)過半個(gè)多世紀(jì)的發(fā)展，幾經(jīng)興衰，冷暖沉浮，興時(shí)，改變世界；衰時(shí)，無法就業(yè)。雖然有人說這幾年機(jī)器學(xué)習(xí)大熱，可能會(huì)和之前幾次人工智能浪潮一樣退去。

但筆者相信，即使在熱潮中，機(jī)器學(xué)習(xí)會(huì)有些被濫用，但年深月久，經(jīng)過專家學(xué)者們持續(xù)不斷地探索，不可逆轉(zhuǎn)的數(shù)字化進(jìn)程，不間斷的計(jì)算能力提升，大可樂觀。只有在數(shù)字化時(shí)代，機(jī)器學(xué)習(xí)、人工智能才成為一個(gè)不退去的浪潮。

目前，通常所說的大數(shù)據(jù)，數(shù)據(jù)量都達(dá)到PB級以上，必須借助于云計(jì)算才能處理。

而且在大數(shù)據(jù)上的建模已然離不開機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。那些圖像識別、翻譯、無人駕駛等領(lǐng)域，都是因?yàn)橛辛舜髷?shù)據(jù)集，才發(fā)揮了深度學(xué)習(xí)的優(yōu)勢。

大數(shù)據(jù)將原有抽樣樣本集變?yōu)槿繕颖炯?，呈現(xiàn)出抽樣樣本上無法揭示的規(guī)律。并且機(jī)器學(xué)習(xí)、深度學(xué)習(xí)模型在大數(shù)據(jù)集上，能夠更有效地學(xué)習(xí)之前統(tǒng)計(jì)模型中忽略的那些結(jié)構(gòu)和關(guān)系，這也是之前所說數(shù)據(jù)中無法處理的信息中的一部分，從而可能得到更好的模型預(yù)測效果。

在數(shù)據(jù)處理、收集成本的下降的同時(shí)，機(jī)器學(xué)習(xí)、算法的成本也下降了，并且易用性也提高了。機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)已然不是各領(lǐng)域應(yīng)用人工智能需要考慮的問題。

那些云計(jì)算供應(yīng)商們會(huì)不斷降低機(jī)器學(xué)習(xí)的應(yīng)用成本并提高易用性。也就是說預(yù)測的性價(jià)比將越來越高，金融投資領(lǐng)域也不例外，機(jī)器學(xué)習(xí)的應(yīng)用將無處不在。

另外，金融投資領(lǐng)域和各行各業(yè)的發(fā)展都息息相關(guān)，既然實(shí)體經(jīng)濟(jì)都在數(shù)字化、智能化，自然金融投資領(lǐng)域也必須數(shù)字化、智能化。

自建大數(shù)據(jù)、機(jī)器學(xué)習(xí)平臺(tái)的好處與缺點(diǎn)

通常來說，對于金融投資機(jī)構(gòu)，選擇外部云計(jì)算服務(wù)商也是比較合適的選擇。

那另一個(gè)問題來了，為什么頂級金融投資機(jī)構(gòu)需要自建平臺(tái)、系統(tǒng)呢？

當(dāng)金融投資機(jī)構(gòu)的目標(biāo)是在他們的公司中投資的決策各個(gè)環(huán)節(jié)嵌入大數(shù)據(jù)，進(jìn)行投資全流程數(shù)字化升級，將數(shù)據(jù)的分析結(jié)果作為投資依據(jù)的重要來源。

那么外部的大數(shù)據(jù)供應(yīng)商或咨詢機(jī)構(gòu)都無法代替公司內(nèi)部的大數(shù)據(jù)團(tuán)隊(duì)。數(shù)據(jù)團(tuán)隊(duì)的工作分成兩大部分，一是搭建數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，二是提供數(shù)據(jù)產(chǎn)品和數(shù)據(jù)服務(wù)。

對數(shù)據(jù)平臺(tái)有更高掌控要求的機(jī)構(gòu)來說，在開源大數(shù)據(jù)技術(shù)上，構(gòu)建定制化大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)亦是不錯(cuò)的選擇。數(shù)據(jù)處理團(tuán)隊(duì)則主要負(fù)責(zé)對各類業(yè)務(wù)數(shù)據(jù)進(jìn)行清洗、加工、分類以及挖掘分析，然后把數(shù)據(jù)結(jié)果存儲(chǔ)到數(shù)據(jù)平臺(tái)，構(gòu)建公司的數(shù)據(jù)中心。

在互聯(lián)網(wǎng)行業(yè)，大數(shù)據(jù)效果非常容易體現(xiàn)。

采集、處理并利用數(shù)據(jù)，可以實(shí)現(xiàn)改善用戶體驗(yàn)或研發(fā)新產(chǎn)品等作用，依托數(shù)據(jù)化運(yùn)營吸引、留住用戶并使之活躍是互聯(lián)網(wǎng)公司的生存之道。

這些都有明確的相關(guān)指標(biāo)量化效果，所以大數(shù)據(jù)團(tuán)隊(duì)的價(jià)值很容易被認(rèn)可。然而在金融機(jī)構(gòu)的數(shù)據(jù)處理團(tuán)隊(duì)并不直接參與投資，往往是作為中后臺(tái)支持團(tuán)隊(duì)，其價(jià)值多是通過與前中臺(tái)團(tuán)隊(duì)有效合作產(chǎn)生。

如果公司是一個(gè)數(shù)據(jù)驅(qū)動(dòng)型投資公司，在投資決策體系依據(jù)數(shù)據(jù)支持，數(shù)據(jù)團(tuán)隊(duì)職能定位比較明確，并擁有較好的信息化基礎(chǔ)和較強(qiáng)的數(shù)據(jù)驅(qū)動(dòng)意識，那么大數(shù)據(jù)團(tuán)隊(duì)比較容易產(chǎn)生價(jià)值。

但，如果公司高層和業(yè)務(wù)團(tuán)隊(duì)對數(shù)據(jù)團(tuán)隊(duì)有著過高的期待，團(tuán)隊(duì)職能定位不明確，數(shù)據(jù)團(tuán)隊(duì)本身投資領(lǐng)域知識不足的話，大數(shù)據(jù)團(tuán)隊(duì)的價(jià)值將難以發(fā)揮。

所以，金融機(jī)構(gòu)有效利用大數(shù)據(jù)團(tuán)隊(duì)一般需具備以下幾點(diǎn)：

• 公司高層認(rèn)可大數(shù)據(jù)的價(jià)值，清晰的大數(shù)據(jù)團(tuán)隊(duì)目標(biāo)。打造一支數(shù)據(jù)科學(xué)團(tuán)隊(duì)是有一定成本的，建立大數(shù)據(jù)團(tuán)隊(duì)前，必須在高層達(dá)成一致，確認(rèn)投入資源打造一支數(shù)據(jù)科學(xué)團(tuán)隊(duì)的必要性，并能明確團(tuán)隊(duì)目標(biāo)和期待。

• 將大數(shù)據(jù)和數(shù)據(jù)分析納入投資決策流程。數(shù)據(jù)在投資中的作用是不言而喻的，但對新的大數(shù)據(jù)集，交易團(tuán)隊(duì)和量化、風(fēng)控等團(tuán)隊(duì)往往心存疑慮，需要建立合適的流程，確保大數(shù)據(jù)集經(jīng)過驗(yàn)證后進(jìn)入投資決策。鼓勵(lì)交易團(tuán)隊(duì)、量化團(tuán)隊(duì)多多接觸大數(shù)據(jù)集，共同探討新數(shù)據(jù)集的價(jià)值。只有大數(shù)據(jù)能夠真正應(yīng)用于投資，大數(shù)據(jù)團(tuán)隊(duì)的價(jià)值才能顯現(xiàn)。

• 尋找到合適的數(shù)據(jù)人才。對于金融機(jī)構(gòu)的大數(shù)據(jù)團(tuán)隊(duì)，往往傾向于有金融背景的大數(shù)據(jù)和機(jī)器學(xué)習(xí)人才，但這方面人才在國內(nèi)相對較少，而且互聯(lián)網(wǎng)行業(yè)也在大力爭奪相關(guān)人才。只要明確各團(tuán)隊(duì)職責(zé)，可適當(dāng)放寬要求，不同背景的人員也是能夠有效合作的。

一般來說，機(jī)器學(xué)習(xí)團(tuán)隊(duì)是和大數(shù)據(jù)團(tuán)隊(duì)劃歸為后臺(tái)支持團(tuán)隊(duì)的。

由于并不直接參與投資，機(jī)器學(xué)習(xí)團(tuán)隊(duì)價(jià)值是通過與前中臺(tái)團(tuán)隊(duì)有效合作體現(xiàn)的。

另外一種組織方案是將機(jī)器學(xué)習(xí)團(tuán)隊(duì)劃入前、中臺(tái)量化團(tuán)隊(duì)，這樣更有利于機(jī)器學(xué)習(xí)算法直接應(yīng)用于交易策略以及風(fēng)險(xiǎn)模型中，但這時(shí)就需要和后臺(tái)大數(shù)據(jù)團(tuán)隊(duì)有效合作了。

不論如何選擇組織架構(gòu)，目的都是為了將大數(shù)據(jù)和機(jī)器學(xué)習(xí)納入投資決策流程中。將大數(shù)據(jù)，機(jī)器學(xué)習(xí)融入原有金融投資機(jī)構(gòu)在線交易決策、風(fēng)控系統(tǒng)中，并支持線下策略、風(fēng)控模型研究，這將涉及整體公司內(nèi)IT系統(tǒng)的重構(gòu)。

但這樣的趨勢已不可避免，面對數(shù)字化時(shí)代不斷發(fā)展，物理世界、實(shí)體經(jīng)濟(jì)數(shù)字化進(jìn)程加速，金融投資機(jī)構(gòu)應(yīng)該以更加開放的心態(tài)，將機(jī)器學(xué)習(xí)等技術(shù)有效融合到原有投資決策流程中才能獲得行業(yè)競爭優(yōu)勢。

既然談了自建大數(shù)據(jù)、機(jī)器學(xué)習(xí)平臺(tái)的好處，那也應(yīng)該說說缺點(diǎn)：費(fèi)錢。

需要和互聯(lián)網(wǎng)公司掙強(qiáng)人才。即使金融機(jī)構(gòu)給的待遇更高些，但考慮到學(xué)習(xí)環(huán)境、股權(quán)激勵(lì)等原因，一般大家還是更愿意選擇互聯(lián)網(wǎng)公司。當(dāng)然，對于不差錢的頂級投資機(jī)構(gòu)來說，自然不在考慮之列，原微軟首席人工智能科學(xué)家鄧力就加盟了對沖基金巨頭之一Citadel公司。

最后，筆者要喊句，雖然金融投資市場不是公平的，過去不是，現(xiàn)在也不是，將來應(yīng)該也不是。但如果，市場中的新座次取決于誰擁有最強(qiáng)的機(jī)器、最多的數(shù)據(jù)、最厲害的算法，那亦是違背市場機(jī)制了。更多的論述請參見即將出版的《人工智能為金融投資帶來了什么》。

本文作者袁峻峰，螞蟻金服人工智能部，復(fù)旦金融學(xué)碩士，F(xiàn)RM金融風(fēng)險(xiǎn)管理師。10年以上從事金融IT相關(guān)領(lǐng)域工作經(jīng)驗(yàn)，主要包括國內(nèi)銀行間市場金融產(chǎn)品的量化分析、市場風(fēng)險(xiǎn)管理以及相關(guān)系統(tǒng)實(shí)現(xiàn)等。目前從事螞蟻金服公司內(nèi)機(jī)器學(xué)習(xí)的資金優(yōu)化項(xiàng)目。新書《人工智能為金融投資帶來了什么》即將出版，歡迎探討。微信: IA_FIN。（雷鋒網(wǎng)）

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。