Om du har suttit en kväll och byggt en strategi i TradingView eller Python, kört den mot fem eller tio års historik och sett en kurva som stiger jämnt med bara små dropp på vägen, känner du igen känslan. Det är den känslan som gör att man börjar tro att man hittat något riktigt. Vinstprocenten ser rimlig ut, drawdownen ser hanterbar ut, och man börjar redan räkna på hur mycket kapital strategin förtjänar. Sedan går den live, eller körs framåt i tiden på priser den aldrig sett, och kurvan böjer av på ett sätt den aldrig gjorde i testet. Det är en av de vanligaste besvikelserna i trading, och orsaken ligger oftare i hur testet byggdes än i vad marknaden gjorde efteråt.
Sök du på backtest trading hittar du hundratals guider som lovar att en solid backtest är kvittot du behöver innan du sätter riktiga pengar på en idé. Det stämmer, om testet är byggt rätt. Men en backtest kan se perfekt ut och ändå ljuga rakt upp i ansiktet på dig, och den ljuger som mest övertygande precis när kurvan ser som finast ut.
Kurvan som är byggd för att vinna
De flesta plattformar för att testa strategier låter dig justera nästan allt i realtid. Du flyttar stop-lossen några punkter, ändrar längden på ett glidande medelvärde, byter tröskelvärde på en RSI, och kör om testet på sekunden. Varje justering som gör kurvan snyggare behåller du. Varje justering som gör den sämre kastar du. Gör du det där femtio eller hundra gånger mot samma historiska data har du inte längre en strategi som fångar ett återkommande mönster i marknaden. Du har en uppsättning parametrar som är skräddarsydda för bruset i just den period du testade på. Det kallas overfitting, och det är den vanligaste anledningen till att en lysande backtest blir en medioker eller förlustbringande liverapport.
Det förrädiska är att overfitting känns som skicklighet medan man håller på med det. Varje justering som förbättrar kurvan ger en liten belöning, och den belöningen gör att man fortsätter finjustera långt förbi punkten där man faktiskt lär sig något om marknaden. Det liknar mekaniken som får en spelare att fortsätta satsa efter en vinst. Talamodet att stanna, acceptera ett resultat som är gott nog och lämna det ifred, är svårare än det låter, och det handlar om psykologi långt mer än om teknik.
När framtiden smyger sig in i historiken
Look-ahead bias uppstår när testet, medvetet eller inte, använder information som inte fanns tillgänglig i det ögonblick en riktig trader skulle behövt fatta beslutet. Det låter som ett tekniskt detaljproblem men det är extremt vanligt. Ett exempel är att basera en entry på stängningspriset för en dagsljusstake samtidigt som strategin i verkligheten skulle behövt agera under dagen, innan den candlen ens var färdig. Ett annat är att testa på en lista av aktier eller kryptovalutor som existerar idag, vilket automatiskt utesluter allt som gick i konkurs eller avnoterades under perioden. Det kallas survivorship bias, och det gör att historiken bara innehåller vinnarna. Ett tredje exempel är indikatorer som ritar om sig själva i efterhand, där värdet du ser på en gammal candle idag inte är samma värde strategin faktiskt hade sett när candlen var ny.
Gemensamt för alla varianter är att de smyger in en fördel som aldrig funnits i verkligheten. Testet får svaret innan frågan egentligen ställts, och kurvan blir därefter.
Att testa hundra idéer garanterar en vinnare
Det tredje problemet handlar om hur många idéer du testat innan du landade på den du gillar. Kör du hundra varianter av en strategi mot samma historiska data, med olika kombinationer av parametrar, kommer några av dem se lönsamma ut helt av slumpen. Det gäller även om ingen av varianterna faktiskt fångar ett riktigt mönster i marknaden. Kasta ett mynt hundra gånger i tio olika omgångar och någon omgång kommer innehålla en ovanligt lång svit av krona. Det säger ingenting om myntet. Det säger något om hur många omgångar du körde.
Problemet är att ett vanligt Sharpe-tal, det mått som ställer avkastning i relation till svängningarna i den avkastningen, aldrig frågar hur många försök som gjordes för att hitta den bästa varianten. Det behandlar den slutgiltiga strategin som om den vore den enda som testats, även när den i själva verket är vinnaren ur hundra försök där de flesta andra kastades i papperskorgen.
Deflated Sharpe Ratio, testet de flesta edger faller på
Det är precis det hålet som Deflated Sharpe Ratio är byggt för att täppa till. Måttet kommer ur kvantitativ forskning och justerar ner det vanliga Sharpe-talet utifrån hur många strategivarianter som faktiskt provades innan man landade på vinnaren, hur lång tidsserien var, och hur skev och toppig fördelningen av avkastningen ser ut. Tanken är enkel även om matematiken inte är det. Istället för att fråga om just den här strategin ser bra ut, frågar måttet hur bra den bästa av alla dessa försök skulle förväntas se ut rent slumpmässigt, och räknar bara edgen som verklig om den klarar den höjda ribban.
Kör man det testet på strategier som cirkulerar i forum, kurser och sålda signaltjänster faller de flesta igenom. Orsaken är sällan att skaparna ljuger med flit. Orsaken är att processen som byggde strategin, dussintals justeringar mot samma historiska fönster, en parameteruppsättning vald för att den råkade fungera bäst av tjugo andra, aldrig hölls till samma standard som resultatet påstår sig hålla. Kurvan är äkta i den meningen att den faktiskt gick att räkna fram. Den är bara inget bevis på en edge som kommer bestå framåt.
Nästa gång du sitter med en backtest som ser för fin ut för att vara sann, gör dig själv en tjänst innan du sätter kapital bakom den. Dela upp historiken i en del du bygger och justerar strategin mot och en del du låter vara helt orörd tills parametrarna är låsta, och kör sedan testet mot den orörda delen bara en enda gång. Räkna ärligt hur många varianter du faktiskt provat på vägen dit, för det talet påverkar hur mycket du bör lita på resultatet. Testa strategin på ett annat instrument eller en annan tidsperiod den aldrig sett, och lägg extra vikt vid en försämring där, den säger ofta mer sanning än förbättringen i originaltestet gjorde. Orkar du göra det jobbiga arbetet att försöka slå hål på din egen idé innan marknaden gör det åt dig, vet du faktiskt vad strategin är värd. Det är den processen, mer än charten, som visar om du står redo.