[轉(zhuǎn)] 曹祥：程序化交易中的過度擬合

2013-03-27 09:03 來源： 國泰君安期貨 瀏覽：992 評論：(1) 作者：開拓者金融網(wǎng)

近年來，程序化交易在國內(nèi)發(fā)展迅速，采用程序化作為交易手段的投資者越來越多，國內(nèi)對程序化交易的研究也越來越深入。開發(fā)一個優(yōu)秀的程序化交易系統(tǒng)，走上穩(wěn)健獲利的投資道路，成為眾多交易者追求的目標(biāo)。

從開發(fā)一個優(yōu)秀的程序化交易系統(tǒng)，到使用該系統(tǒng)獲得一定的利潤是一個復(fù)雜的過程，在此過程中會遇到很多問題。比如，經(jīng)常有投資者在實際使用交易策略前，因為策略的歷史測試收益曲線圖平滑向上，對策略的盈利能力非常自信。而實盤之后，資金曲線卻拐頭向下，不盡人意。出現(xiàn)這種現(xiàn)象的一個重要原因是過度擬合。所謂過度擬合，指的是對于樣本數(shù)據(jù)，描述的準(zhǔn)確度很高，而對于樣本外數(shù)據(jù)，描述的準(zhǔn)確度卻很差。具體到程序化交易中，就是歷史行情效果很好，而在未來行情中卻失效。本文嘗試解釋造成過度擬合的原因，并提出避免過度擬合的幾種方法。

過度擬合產(chǎn)生的原因

程序化交易系統(tǒng)的設(shè)計過程包括兩個部分，這兩個部分都有可能造成過度擬合。交易系統(tǒng)設(shè)計的第一部分是形成一個完整的交易規(guī)則體系。形成交易規(guī)則一般有自上而下和自下而上兩種方法：自上而下的方法是基于對市場行情的長期觀察總結(jié)出來規(guī)律，再在規(guī)律的基礎(chǔ)之上形成數(shù)量化的交易策略，這一過程需要長時間交易經(jīng)驗的積累；自下而上的方法是從市場數(shù)據(jù)出發(fā)，進(jìn)行統(tǒng)計分析得出市場特征而形成的交易策略。程序化交易的出現(xiàn)以及電腦技術(shù)的發(fā)展，使得自下而上的方法得到廣泛采用，交易者可以將開發(fā)出來的交易系統(tǒng)用歷史數(shù)據(jù)進(jìn)行快速測試統(tǒng)計，以觀察系統(tǒng)在歷史行情中的表現(xiàn)，形成新交易系統(tǒng)的速度得到極大提升。在測試交易系統(tǒng)的過程中，往往會根據(jù)測試結(jié)果對交易規(guī)則進(jìn)行重新訓(xùn)練形成新的交易規(guī)則，或者對這些規(guī)則進(jìn)行組合，這樣產(chǎn)生的交易系統(tǒng)很容易是對市場數(shù)據(jù)的擬合。第二部分是將這些交易規(guī)則通過數(shù)量化的方法實現(xiàn)。在數(shù)量化實現(xiàn)交易系統(tǒng)的過程中，一般會采用參數(shù)來描述系統(tǒng)。設(shè)計者會通過增加參數(shù)個數(shù)和優(yōu)化這些參數(shù)，尋找出最佳的交易系統(tǒng)。如果參數(shù)個數(shù)較多或過度優(yōu)化參數(shù)，往往就會產(chǎn)生對歷史行情的完美過度擬合，而未來的績效卻大打折扣。

如何避免過度擬合

設(shè)計交易系統(tǒng)的目標(biāo)是在未來實盤的行情中可以產(chǎn)生利潤，而不是為了追求一條漂亮的歷史測試曲線，過度擬合的交易系統(tǒng)是一個“美麗的陷阱”。如何逃離這個陷阱呢？我們認(rèn)為可以從交易規(guī)則的形成和交易系統(tǒng)開發(fā)兩大方面著手。

現(xiàn)代數(shù)學(xué)對金融市場的數(shù)據(jù)分析表明，時間價格序列包括兩個部分：第一部分是確定項,可以從中找出一定的規(guī)律；第二部分是隨機項，沒有確定性的規(guī)律可言，出現(xiàn)某一現(xiàn)象只是概率性的。當(dāng)我們從市場歷史行情中提取交易規(guī)則時，需要分析規(guī)則的邏輯性和規(guī)律性，交易規(guī)則需要能夠反映市場的規(guī)律性，具有一定的合理性。同時交易規(guī)則的數(shù)量不宜過多，過多的交易規(guī)則如同對一個事物的描述加上太多的定語，而非事物本質(zhì)的反映，如果事物的表象發(fā)生變化，描述就失效了，只有對事物本質(zhì)的描述才是事物本身的定義。交易規(guī)則同樣必須抓住市場的本質(zhì)。總而言之，我們需要的是簡單而有效的交易系統(tǒng)，系統(tǒng)越簡潔，生命力就越強，適應(yīng)的市場范圍越廣。

當(dāng)交易者通過各種途徑形成交易規(guī)則后，在具體的交易系統(tǒng)設(shè)計過程中，需要注意如下問題：

第一，增加歷史測試數(shù)據(jù)樣本容量，避免交易次數(shù)過少。如果歷史測試數(shù)據(jù)量較少，雖然設(shè)計的系統(tǒng)在樣本內(nèi)效果良好，但是較短時間段的測試不具有說服力，系統(tǒng)未來的表現(xiàn)很難預(yù)期。而較少的交易次數(shù)往往是由于增加過多的交易規(guī)則限制，對虧損的交易進(jìn)行了強過濾，是一種典型的過度擬合行為。

第二，在測試時，將測試的數(shù)據(jù)樣本分為樣本內(nèi)和樣本外，設(shè)計系統(tǒng)的時候采用樣本內(nèi)數(shù)據(jù)，然后用樣本外數(shù)據(jù)測試得出的系統(tǒng)，如果效果大大降低，那么這種系統(tǒng)極有可能是擬合的。

第三，核心參數(shù)不宜過多，參數(shù)過多的系統(tǒng)是一個多自由度系統(tǒng)，在優(yōu)化多個參數(shù)之后總會得出一個漂亮的系統(tǒng)，但這種系統(tǒng)的可靠性是令人懷疑的。

第四，在對系統(tǒng)的參數(shù)進(jìn)行優(yōu)化時，我們需要對最優(yōu)參數(shù)附近的參數(shù)進(jìn)行考察。如果附近參數(shù)系統(tǒng)的性能遠(yuǎn)差于最優(yōu)參數(shù)的性能，那這個最優(yōu)參數(shù)有可能是一個過度擬和的結(jié)果，數(shù)學(xué)上稱為奇點解，是不穩(wěn)定的。如果市場的特征稍微發(fā)生變化，最優(yōu)參數(shù)可能會成為最差參數(shù)。

第五，將交易系統(tǒng)用于其他品種，觀察其效用。萬能的交易系統(tǒng)是少見的，但是在一個品種上表現(xiàn)優(yōu)秀的系統(tǒng)，在別的品種上至少可以獲利。如果在別的品種上不能盈利，在使用該系統(tǒng)的過程中就應(yīng)該注意其有效性，即是否過度擬合某一品種的特殊行情。

評分:     3