Étude · octobre 2026
Pourquoi la plupart des backtests mentent : surapprentissage, frais et hasard
Un backtest est une histoire que le passé raconte sur une règle. Trois habitudes rendent cette histoire bien plus belle que la vérité. Les voici, avec des chiffres tirés de nos propres études, et les questions qui les démasquent.
1. Le surapprentissage : le passé, ajusté
Essayez assez de réglages et l'un d'eux paraîtra brillant sur les années où vous les avez essayés. Ce meilleur résultat est en partie du talent, en partie le bruit de ces années. Plus vous comparez de variantes, plus c'est du bruit.
Dans notre étude du golden cross, le couple retenu gagnait +1,93 R par opération sur les années où il avait été choisi. Mesuré année par année, toujours choisi sur les trois années précédentes, il est passé de −0,52 R en 2022 à +4,07 R en 2023. Une bonne série d'années peut faire passer n'importe quelle règle pour une découverte.
Le remède : fixer la règle et ce qui compte comme un succès avant de regarder, puis la juger sur des années et des actions qui n'ont joué aucun rôle dans son choix.
2. Les frais : petits par opération, énormes par règle
Nous avons testé une approche intraday populaire, fondée sur les « fair value gaps » et la liquidité, sur QQQ et SPY, minute par minute, de 2019 à 2026 : environ 3 000 opérations sur trois tests séparés. Avant frais, son opération moyenne valait à peu près zéro (entre +0,00 et +0,03 R). Les frais n'étaient que de 3,6 points de base par opération, mais ses stops étaient si serrés, environ 0,2 % du prix, que ces frais valaient environ 0,21 R par opération. Après frais, elle perdait environ 0,2 R par opération dans chaque test.
Le remède : toujours compter frais et glissement, et les regarder en R. Plus le stop est serré, plus un point de base coûte cher.
3. Le hasard : des dates au hasard feraient-elles aussi bien ?
Une règle peut gagner simplement parce que le marché montait pendant qu'elle était en position. Pour séparer le signal du marché, prenez les mêmes opérations, de même durée, à des dates tirées au hasard. Si la règle ne fait pas mieux que son double au hasard, le signal n'apporte rien.
L'approche intraday ci-dessus a fait exactement aussi bien que son double au hasard : +0,02 R d'écart par opération, avec un intervalle de −0,07 à +0,12 R. Avec un objectif à 1 R, elle gagnait 51 % du temps, et perdait quand même de l'argent après frais. Un fort taux de réussite n'est pas une preuve.
Cinq questions avant de croire un backtest
- La règle était-elle fixée avant de voir les résultats, et combien de variantes ont été essayées ?
- Tient-elle sur des années, et des marchés, qui n'ont joué aucun rôle dans sa construction ?
- Les frais et le glissement sont-ils comptés sur chaque opération, et combien valent-ils en R ?
- Bat-elle la simple détention de la même chose, en rendement ajusté du risque ?
- Bat-elle les mêmes opérations prises à des dates au hasard ?
Le test équitable pose ces cinq questions à chaque règle que vous construisez. La plupart échouent, y compris les nôtres. Prix passés ; pas un conseil.