0
| 本文作者： AI研習社-譯站 | 2020-09-11 13:06 |
字幕組雙語原文：告別RNN，迎接TCN
英語原文：Farewell RNNs, Welcome TCNs
聲明：本文假定讀者具備LSTM神經(jīng)網(wǎng)絡(luò)模型直覺和結(jié)構(gòu)背后的初步基礎(chǔ)知識。
1.深度學習在FTS中的應用背景
2.值得關(guān)注的FTS數(shù)據(jù)預處理實踐
3.時間卷積網(wǎng)絡(luò)結(jié)構(gòu)
4.時間卷積網(wǎng)絡(luò)在FTS中的實例應用
基于TCN進行知識驅(qū)動下的股票走勢預測與可解釋性
1.背景
金融時間序列(FTS)建模是一種具有悠久歷史的實踐，它最早在20世紀70年代初掀起了算法交易的革命。金融時間序列的分析分為兩類：基本面分析和技術(shù)分析。這兩種做法都受到了有效市場假說（EMH）的質(zhì)疑。自1970年EMH首次發(fā)表以來備受爭議，該假說假設(shè)股票價格最終是不可預測的。但這并沒有限制試圖通過使用線性、非線性和基于ML的模型來模擬FTS的研究，我們在下文中會提到。
由于金融時間序列具有非穩(wěn)定、非線性、高噪聲的特點，傳統(tǒng)的統(tǒng)計模型難以對其進行高精度的預測。因此，近年來越來越多地嘗試將深度學習應用于股市預測，盡管遠未達到完美的程度。下面會舉出幾個例子。
2013
Lin 等。 提出了一種使用支持向量機建立兩部分特征選擇和預測模型的股票預測方法，證明了該方法具有比常規(guī)方法更好的泛化能力。
2014
Wanjawa 等。 提出了一種人工神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用具有誤差反向傳播的前饋多層感知器來預測股票價格。結(jié)果表明，該模型可以預測典型的股票市場。
2017
輸入LSTM-有關(guān)將LSTM神經(jīng)網(wǎng)絡(luò)應用于時間序列數(shù)據(jù)的研究激增。
Zhao 等。將時間加權(quán)函數(shù)添加到LSTM神經(jīng)網(wǎng)絡(luò)，結(jié)果超過了其他模型。
2018
Zhang 等。 后來結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）提出了一種新的體系結(jié)構(gòu)，即廣域神經(jīng)網(wǎng)絡(luò)（DWNN）。結(jié)果表明，與常規(guī)RNN模型相比，DWNN模型可以將預測的均方誤差降低30％。
Ha 等。CNN被用于開發(fā)定量股票選擇策略，以確定股票趨勢，然后使用LSTM預測股票價格，以推廣用于定量計時策略的混合神經(jīng)網(wǎng)絡(luò)模型，以增加利潤。
Jiang 等。 使用LSTM神經(jīng)網(wǎng)絡(luò)和RNN構(gòu)建模型，發(fā)現(xiàn)LSTM可以更好地應用于庫存預測。
2019
Jin 等。 在模型分析中增加了投資者的情緒趨勢，并引入經(jīng)驗模態(tài)分解（EMD）與LSTM相結(jié)合，以獲得更準確的股票預測。基于注意力機制的LSTM模型在語音和圖像識別中很常見，但在金融領(lǐng)域卻很少使用。
Radford 等。 目前 流行的GPT-3的前身，GPT-2的目標是設(shè)計一個多任務學習器，它結(jié)合了預訓練和監(jiān)督式微調(diào)，以實現(xiàn)更靈活的傳輸形式。因此，它具有1542M參數(shù)，比其他比較模型大得多。
Shumin 等。一種使用時間卷積網(wǎng)絡(luò)（ KDTCN）進行知識趨勢預測和解釋的知識驅(qū)動方法 。他們首先從財經(jīng)新聞中提取結(jié)構(gòu)化事件，然后利用知識圖獲得事件嵌入。然后，將事件嵌入和價格值結(jié)合在一起以預測庫存趨勢。實驗表明，該方法可以（i）更快地應對突然的變化，并且可以勝過股票數(shù)據(jù)集上的最新方法。（這將是本文的重點。）
2020
Jiayu等人和Thomas等人提出了基于近期新聞序列的混合注意力網(wǎng)絡(luò)來預測股票趨勢。帶有注意力機制的LSTMs由于其獨特的存儲單元結(jié)構(gòu)，防止了長期依賴性，因此表現(xiàn)優(yōu)于傳統(tǒng)的LSTMS。
Hongyan等人提出了一種探索性的架構(gòu)，稱為時空卷積注意力網(wǎng)絡(luò)Temporal Convolutional Attention-based Network(TCAN)，它結(jié)合了時空卷積網(wǎng)絡(luò)和注意力機制。TCAN包括兩個部分，一個是時間注意力Temporal Attention(TA)，捕捉序列內(nèi)部的相關(guān)特征，另一個是增強殘差Enhanced Residual(ER)，提取淺層的重要信息并傳輸?shù)缴顚印?/p>
上面的時間線只是為了讓大家了解FTS在深度學習中的歷史背景，但并不是淡化序列模型學術(shù)界其他成員在類似時間段所貢獻的重要工作。
不過，這里有一點值得一提?？赡艿那闆r是，F(xiàn)TS預測領(lǐng)域的學術(shù)出版物往往具有誤導性。由于大量使用模擬器，許多快車道預測論文往往夸大其性能以獲得認可，并對其模型進行過度擬合。這些論文中宣稱的許多業(yè)績難以復制，因為它們未能針對所預測的特定財務交易系統(tǒng)的未來變化進行概括。
金融時間序列數(shù)據(jù)--尤其是股票價格，會隨著季節(jié)性、噪聲和自動修正而不斷波動。傳統(tǒng)的預測方法采用移動平均線和差分法來減少預測的噪聲。然而，F(xiàn)TS是傳統(tǒng)的非穩(wěn)態(tài)，并且表現(xiàn)出有用信號和噪聲的重疊，這使得傳統(tǒng)的去噪效果不佳。
小波分析在圖像和信號處理等領(lǐng)域取得了顯著的成就。由于其能夠彌補傅里葉分析的不足，開始逐漸被引入經(jīng)濟和金融領(lǐng)域。小波變換在解決傳統(tǒng)的時間序列分析問題上具有獨特的優(yōu)勢，它可以從不同的時域和頻域尺度對金融時間序列數(shù)據(jù)進行分解和重構(gòu)。
小波變換實質(zhì)上是利用多尺度特征對數(shù)據(jù)集進行去噪，有效地將有用信號從噪聲中分離出來。在Jiayu Qiu, Bin Wang, Changjun Zhou的論文中，作者們利用coif3小波函數(shù)的三個分解層，通過其信噪比（SNR）和均方根誤差（RMSE）來評價小波變換的效果。SNR越高，RMSE越小，小波變換的去噪效果越好。
Jiayu Qiu1, Bin Wang, Changjun Zhou
在FTS中，選擇使用哪項數(shù)據(jù)作為驗證集并不是一件小事。事實上，有無數(shù)種方法可以做到這一點，對于不同波動性的股票指數(shù)，必須仔細考慮。
固定點方法是最天真、最常用的方法。給定一定的拆分大小，數(shù)據(jù)的起點是訓練集，終點是驗證集。但是，這種方法選擇起來特別生疏，尤其是對于亞馬遜這樣的高成長性股票。之所以會這樣，是因為亞馬遜的股價一開始的波動性很低，隨著股票的增長，會出現(xiàn)越來越大的波動行為。
AMZN年初到現(xiàn)在的價格（來源：谷歌財經(jīng)）
因此，我們將在低波動率動態(tài)上訓練一個模型，并期望它在預測中處理未見的高波動率動態(tài)。事實上，這對于這些類型的股票來說，確實是很困難的，而且是以性能損失為代價的。因此，如果我們只考慮這一點，我們的驗證損失和業(yè)績基準可能會產(chǎn)生誤差。但是，對于像英特爾這樣波動性比較恒定的股票（COVID危機前），這種方法卻是合理的。
滾動原點重新校準法比固定原點法的不穩(wěn)定性稍小，因為它允許通過取各種不同分割數(shù)據(jù)的平均值來計算驗證損失，以避免遇到高波動率時間段的不代表性問題。
最后，滾動窗口法通常是最有用的方法之一，因為它特別適用于長時間段運行的FTS算法。事實上，這個模型輸出的是多個滾動窗口數(shù)據(jù)的平均驗證誤差。這意味著我們得到的最終值更能代表近期的模型性能，因為我們較少受到遠期性能強或差的偏見。
數(shù)據(jù)清洗技術(shù)可視化 (Thomas Hollis, Antoine Viscardi, Seung Eun Yi, 2018)
Thomas Hollis、Antoine Viscardi、Seung Eun Yi所做的一項研究表明，滾動窗口（RW）和滾動原點重新校準（ROR）所描述的性能都比簡單的固定原點法略好（58%和60%）。這表明，對于亞馬遜這樣的波動性股票，使用這些數(shù)據(jù)清洗方法將是不可避免的。
性能比較
時序卷積網(wǎng)絡(luò),或者簡稱TCN, 是一種處理序列建模任務的卷積神經(jīng)網(wǎng)絡(luò)的變體, 它混合了RCNN與CNN架構(gòu). 對TCN的初步實驗評估表明, 簡單的卷積結(jié)構(gòu)在不同任務和數(shù)據(jù)集上的性能優(yōu)于標準遞歸網(wǎng)絡(luò)(如LSTMs), 同時表現(xiàn)出更加長期的高效的記憶.
TCN的顯著特點是:
架構(gòu)中的卷積是因果關(guān)系，這意味著從未來到過去沒有信息“泄漏”。
同RCNN一樣, 這個架構(gòu)可以獲取任意長度的序列,并將它們映射為一個相同長度的序列. TCN采用非常深的網(wǎng)絡(luò)(增強的殘差網(wǎng)絡(luò))和擴張卷積的混合,來處理非常長且有效的歷史規(guī)模(例如, 網(wǎng)絡(luò)可以看到過去很遠并且作出預測的能力)。
如上所述，TCN基于兩個原則：一是網(wǎng)絡(luò)產(chǎn)生的輸出與輸入長度相同，二是從將來到過去都不會泄漏的事實。為了實現(xiàn)第一點，TCN采用一維全卷積網(wǎng)絡(luò)（FCN）架構(gòu)，每個隱藏層的長度與輸入層相同，并加入長度為零的填充（內(nèi)核大小-1），以保持后續(xù)層與前幾層的長度相同。為了實現(xiàn)第二點，TCN使用了因果卷積，即在時間t的輸出只與時間t及之前層中的元素進行卷積。
簡單來說。TCN = 1D FCN + 因果卷積。
一個簡單的因果卷積只能回顧一個大小與網(wǎng)絡(luò)深度線性的歷史。這使得在序列任務上應用上述的因果卷積具有挑戰(zhàn)性，尤其是那些需要較長歷史的任務。Bai，Kolter和Koltun（2020）實現(xiàn)的解決方案，是采用膨脹卷積，以實現(xiàn)指數(shù)級大的接收場。更正式地說，對于一個一維序列輸入x∈R?和一個濾波器f:{0,...,k-1}→R，對該序列中元素s上的空洞卷積操作F被定義為：
其中d是膨脹系數(shù)，k是濾波器大小，s - d - i 表示過去的方向。因此，膨脹相當于在每兩個相鄰的濾波器抽頭之間引入一個固定的步長。當d=1時，膨脹卷積減小為常規(guī)卷積。使用較大的膨脹使頂層的輸出能夠代表更大范圍的輸入，從而有效地擴大了ConvNet的接受場。
擴張因果卷積，擴張因數(shù)d = 1、2、4，濾波器大小k =3。接收場能夠覆蓋輸入序列中的所有值。
3.1.3 殘差連接
殘差塊有效地允許各層學習對恒等映射更改，而不是整個轉(zhuǎn)換，這已被反復證明對非常深的網(wǎng)絡(luò)有利。
由于TCN的接受場取決于網(wǎng)絡(luò)深度n以及濾波器大小k和擴張因子d，因此穩(wěn)定更深更大的TCN就變得非常重要。
使用TCNs進行序列建模的幾個優(yōu)點。
并行性。在RNNs中，后面的時間步的預測必須等待其前面的時間步完成，而TCNs則不同，由于每層都使用了相同的濾波器，因此卷積可以并行完成。因此，在訓練和評估中，一個長的輸入序列可以在TCN中作為一個整體進行處理，而不是像RNN那樣按順序處理。
靈活的接受場大小。TCN可以通過多種方式改變其接受字段大小。例如，堆疊更多的擴張（因果）卷積層，使用更大的膨脹因子，或者增加濾波器的尺寸大小都是可行的選擇。因此，TCNs可以更好地控制模型的內(nèi)存大小，并且容易適應不同的域。
穩(wěn)定的梯度。與循環(huán)架構(gòu)不同的是，TCN的反傳播路徑與序列的時間方向不同。因此，TCN避免了爆炸/消失梯度的問題，這是RNN的一個主要問題（這也導致了LSTM和GRU的發(fā)展）。
訓練時對內(nèi)存要求低。特別是在輸入序列較長的情況下，LSTMs和GRU很容易占用大量內(nèi)存來存儲其多單元門的部分結(jié)果。然而，在TCN中，濾波器是跨層共享的，反向傳播路徑只取決于網(wǎng)絡(luò)深度。因此在實踐中發(fā)現(xiàn)，門控RNNs比TCNs可能要多使用高達倍數(shù)的內(nèi)存。
可變長度輸入。就像RNNs以遞歸的方式對可變長度的輸入進行建模一樣，TCNs也可以通過滑動1維卷積核來接收任意長度的輸入。這意味著，對于任意長度的順序數(shù)據(jù)，可以采用TCNs作為RNNs的直接替代。
使用TCNs有兩個顯著的缺點。
評估期間的數(shù)據(jù)存儲。TCNs需要接收原始序列，直至有效歷史記錄長度，因此在評估期間可能需要更多的內(nèi)存。
域轉(zhuǎn)移可能會改變隱藏參數(shù)。不同的域?qū)δＰ皖A測所需的歷史量可能有不同的要求。因此，當把一個模型從一個只需要很少內(nèi)存的域（即小k和d）轉(zhuǎn)移到一個需要更長內(nèi)存的域（即大得多的k和d）時，TCN可能會因為沒有足夠大的接受場而表現(xiàn)不好。
在典型序列建模任務上一些TCN網(wǎng)絡(luò)與一些循環(huán)架構(gòu)的評估結(jié)果, 這些任務通常用來對RNN的變體進行基準測試(Bai, Kolter and Koltun, 2020)
執(zhí)行總結(jié):
這些結(jié)果強烈的表明了極小調(diào)優(yōu)的通用TCN架構(gòu)在廣泛的序列建模任務中優(yōu)于規(guī)范的循環(huán)結(jié)構(gòu), 這些任務通常用于對遞歸體系結(jié)構(gòu)本身的性能進行基準測試。
4. 通過TCN進行知識驅(qū)動的股票走勢預測和解釋。
股票趨勢預測中的深度神經(jīng)網(wǎng)絡(luò)大多有兩個共同的缺點。(i)目前的方法對股票趨勢的突然變化不夠敏感，(ii)預測結(jié)果對人類來說無法解釋。針對這兩個問題，Deng等人2019年提出了一種新型的知識驅(qū)動時空卷積網(wǎng)絡(luò)（Knowledge-Driven Temporal Convolutional Network，KDTCN）用于股票趨勢預測和解釋，通過將背景知識、新聞事件和價格數(shù)據(jù)融入到深度預測模型中，解決股票趨勢具有突變性的預測和解釋問題。
針對突發(fā)性變化的預測問題，從財經(jīng)新聞中提取事件，并將其結(jié)構(gòu)化為事件元組，如 "英國退出歐盟 "表示為（英國，退出，歐盟 ）。然后將事件元組中的實體和關(guān)系鏈接到KG，如Freebase和Wikidata。其次，將結(jié)構(gòu)化的知識、文本新聞以及價格值分別進行矢量化，然后再將它們連在一起。最后，將這些嵌入物反饋到基于TCN的模型中。
實驗表明，KDTCN可以（i）更快地對突然變化做出反應，并在股票數(shù)據(jù)集上優(yōu)于最先進的方法，以及（ii）便于解釋預測，特別是在突然變化的情況下。
此外，基于具有突然變化的預測結(jié)果，以解決做出解釋的問題，通過使用知識圖譜（KG）將事件的影響可視化，呈現(xiàn)事件之間的鏈接。通過這樣做，我們可以做出以下解釋：（i）知識驅(qū)動的事件如何在不同程度上影響股市波動；（ii）知識如何幫助將事件與股票趨勢預測的突然變化相關(guān)聯(lián)。
請注意，如果您需要進一步的技術(shù)細節(jié)，請參考本文，以下部分僅是對Shumin等人論文的概述。
這里提到的基本TCN模型架構(gòu)是從上面的第3節(jié)派生而來的-由因果卷積，殘差連接和擴張卷積組成的通用TCN架構(gòu)。
KDTCN架構(gòu)的概況如下圖所示。
原始模型的輸入是價格X，新聞語料庫N，以及知識圖譜G，價格值經(jīng)過歸一化處理后，映射成價格向量，表示為：
其中，每個向量p t 代表股票交易日t的實時價格向量，T為時間跨度。
而對于新聞語料，將新聞片段表示為事件集ε；然后，構(gòu)造事件元組e=(s,p,o)，其中p為動作/謂語，s為參與者/主體，o為動作執(zhí)行的對象；然后，將事件元組中的每個項目與KG聯(lián)系起來，對應KG中的實體和關(guān)系；最后，通過訓練事件元組和KG三元組獲得事件嵌入V. Shumin等人記錄了此過程的更詳細信息。
最后，將事件嵌入與價格向量相結(jié)合，輸入基于TCN的模型。
數(shù)據(jù)集：
時間序列價格數(shù)據(jù) X：DJIA指數(shù)每日價值記錄的價格數(shù)據(jù)集。
文本新聞數(shù)據(jù) N：由Reddit世界新聞頻道的歷史新聞頭條組成的新聞數(shù)據(jù)集（基于投票的前25個的帖子）。
結(jié)構(gòu)化知識數(shù)據(jù) G：由兩個常用的研究用開放知識圖譜--Freebase和Wikidata的結(jié)構(gòu)化數(shù)據(jù)構(gòu)建的子圖譜。
基準方法：
不同輸入的基線模型。在第一列中，前綴WB表示詞嵌入，EB表示事件嵌入，PV表示價格向量，KD表示知識驅(qū)動。請注意，事件嵌入（a）和事件嵌入（b）分別表示無KG和有KG的事件嵌入。
KDTCN的性能在三個方面進行了基準測試：（i）基本TCN體系結(jié)構(gòu)的評估，（ii）不同模型輸入對TCN的影響，以及（iii）基于TCN的模型對于突然變化的輸入數(shù)據(jù)的性能。
TCN基本架構(gòu)：
用不同的基本預測模型對DJIA指數(shù)數(shù)據(jù)集的股票趨勢預測結(jié)果。
需要注意的是，這部分報告的所有實驗都只是輸入了價格值。
TCN在股票趨勢預測任務上的表現(xiàn)大大優(yōu)于基線模型。TCN的性能比傳統(tǒng)的ML模型（ARIMA），或者深度神經(jīng)網(wǎng)絡(luò)（如LSTM和CNN）都要好得多，說明TCN在序列建模和分類問題上有更明顯的優(yōu)勢。
使用TCN的不同模型輸入：
可以看出，WB-TCN和EB-TCN都比TCN獲得了更好的性能，說明文本信息有助于提高預測能力。
KDTCN得到的準確率和F1得分都是最高的，這樣的結(jié)果證明了模型輸入與結(jié)構(gòu)化知識、財經(jīng)新聞和價格整合的有效性。
對于突然變化的數(shù)據(jù)輸入的模型性能：
使用不同的模型輸入，本地DJIA指數(shù)數(shù)據(jù)集的突然變化的股票趨勢預測結(jié)果。
據(jù)觀察，具有知識驅(qū)動的事件嵌入輸入的模型（例如KDEB-TCN和KDTCN）可以大大勝過基于數(shù)字數(shù)據(jù)和基于文本數(shù)據(jù)的模型。這些比較結(jié)果表明，知識驅(qū)動的模型在迅速應對股市的突然變化方面具有優(yōu)勢。
下面補充說明如何量化股票波動程度。
首先，通過計算兩個相鄰股票交易日之間的股票波動程度D（fluctuation）的差來獲得突變的時間間隔。
其中，x 在時間 t 表示股票交易日 t 的股票價格值，那么波動度的差值 C的定義為：
如果｜Ci｜超過一定的閾值，則可以認為股價在第i天發(fā)生了突變。
為何在沒有ML專業(yè)知識的情況下，知識驅(qū)動事件是導致人類突然變化的常見原因的解釋是從兩個方面完成的。(i)將知識驅(qū)動事件對預測結(jié)果的影響與突變可視化；(ii)通過將事件與外部KG聯(lián)系起來，檢索知識驅(qū)動事件的背景事實。
事件的效果可視化：
下圖中的預測結(jié)果是DJIA指數(shù)的走勢將下降。需要注意的是，相同顏色的柱狀物具有相同的事件效果，柱狀條的高度反映了效果的程度，事件人氣從左到右依次遞減。直觀上看，人氣較高的事件對股票走勢預測的影響應該更大，變化突然，但并不總是如此。
事件影響對股票走勢預測的例子
其他幾乎所有具有負效應的事件都與這兩個事件有關(guān)，例如，（英鎊，下跌，近5%）和（北愛爾蘭，要求對聯(lián)合愛爾蘭進行民調(diào)）。
雖然也有一些事件對預測股票走勢上漲有正向作用，且人氣較高，即（富裕，越來越，更加富裕），但總的作用是負向的。因此，股指波動的突變可以看成是事件效果和人氣關(guān)注度的綜合結(jié)果。
鏈接到KG的事件圖元的可視化：
與事件相關(guān)聯(lián)的KG三元組說明
首先，搜索股票走勢中影響大或人氣高的事件元組。然后，回溯到包含這些事件的新聞文本。最后，通過實體鏈接，檢索與事件元組鏈接的相關(guān)KG三元組。在上圖中，每個事件元組用藍色標記，其中的實體鏈接到KG。
這些列舉的事件元組，如（英國，退出，歐盟）、（英國，投票離開，歐盟）、（英鎊，下跌，近5%）、（J.K.羅琳，主導了，蘇格蘭獨立）、（北愛爾蘭，呼吁對聯(lián)合愛爾蘭進行民意調(diào)查），從字面上看，并沒有很強的相關(guān)性。但是，通過與KG的聯(lián)系，它們可以建立起相互之間的關(guān)聯(lián)，并與Brexit和歐盟公投事件緊密相關(guān)。結(jié)合事件效應的解釋，可以證明知識驅(qū)動的事件是突變發(fā)生的常見來源。
5.結(jié)論
循環(huán)神經(jīng)網(wǎng)絡(luò)在序列建模中享有的優(yōu)勢可能在很大程度上是歷史發(fā)展遺留的問題。直到近期，在引入諸如擴張卷積和殘余連接等架構(gòu)元素之前，卷積架構(gòu)確實比較薄弱。最近的學術(shù)研究表明，在這些元素的作用下，簡單的卷積架構(gòu)在不同的序列建模任務中比LSTMs等遞歸架構(gòu)更有效。由于TCNs的清晰度和簡單性相當高，在Bai，S.，Kolter，J.和Koltun，V.，2020中提出，卷積網(wǎng)絡(luò)應該被視為序列建模的天然起點和強大工具。
此外，從上文TCNs在股票趨勢預測中的應用可以看出，通過結(jié)合新聞事件和知識圖譜，TCNs可以明顯優(yōu)于規(guī)范的RNNs。
雷鋒字幕組是一個由 AI 愛好者組成的翻譯團隊，匯聚五百多位志愿者的力量，分享最新的海外AI資訊，交流關(guān)于人工智能技術(shù)領(lǐng)域的行業(yè)變革與技術(shù)創(chuàng)新的見解。
團隊成員有大數(shù)據(jù)專家、算法工程師、圖像處理工程師、產(chǎn)品經(jīng)理、產(chǎn)品運營、IT咨詢?nèi)恕⒃谛熒?；志愿者們來自IBM、AVL、Adobe、阿里、百度等知名企業(yè)，北大、清華、港大、中科院、南卡羅萊納大學、早稻田大學等海內(nèi)外高校研究所。
如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學習新知，分享成長。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
