계좌에 동시 보유 포지션 한도가 있다면 — 모든 계좌에 있어요 — 들어갈 자리보다 많은 마크가 나오는 날이 있어요. 어느 것이 들어갈지는 대개 우연이 정해요. 그 우연이 얼마나 무거운지 재 보았더니, 저희가 비교하던 거의 모든 것보다 무거웠어요.
같은 전략, 같은 데이터, 같은 규칙으로 스물다섯 번 돌렸어요. 결과는 185.73에서 304.78 사이. 규칙 하나 건드리지 않고 119포인트 차이가 났어요.
시스템은 마크를 만들어요. 계좌는 한 번에 몇 개의 포지션만 담을 수 있어요: 예를 들어 열 개. 조용한 날에는 문제가 없어요. 마크가 열다섯 개 나왔는데 자리는 열 개인 날에는, 누군가 어느 다섯 개를 뺄지 정해야 해요.
대부분의 프로그램에서 이 결정은 아무도 내리지 않아요. 목록에 종목이 나오는 순서가 정하는데, 그 순서는 거의 항상 알파벳순이에요. 즉 어떤 거래가 들어가느냐 마느냐가, 회사 이름이 Zoom이 아니라 Adobe라는 데 달려 있을 수 있어요.
그리고 드문 경우가 아니에요. 저희 시스템의 백테스트에서 16년 반 동안 생성된 11,988개의 마크 중, 동시 포지션 열 개로 실제 거래까지 가는 건 1,488개뿐이에요. 87.6 %는 한 번도 들어가지 못해요. 나빠서가 아니라, 나왔을 때 자리가 없었기 때문이에요. 이 비율이라면 순서 정하기는 사소한 게 아니에요: 결국 일어나는 일의 큰 부분이에요.
같은 설정을 스물다섯 번 돌리면서 딱 한 가지만 바꿨어요: 같은 날 나온 마크들 사이의 동점을 정리하는 순서. 진입, 청산, 위험 규칙은 하나도 건드리지 않았어요.
| 동점 처리 순서만 다른 동일한 실행 25회 기준 | 결과 (R) |
|---|---|
| 최악 | 185,73 |
| 중앙값 | 251,66 |
| 최고 | 304,78 |
| 양 끝 사이의 폭 | 119,05 |
| 표준편차 | 30,96 |
결론은 불편하고, 바로 그게 필요한 결론이에요: 두 설정을 각각 한 번씩만 돌려 비교했는데 차이가 30포인트라면, 아무것도 측정하지 않은 거예요. 그 차이는 자리 배분의 우연 안에 통째로 들어가요.
저희 자신의 비교로 확인했어요. 시스템의 변형 열다섯 가지를 각각 한 번씩 돌려 봤을 때, 열한 가지가 원래 버전과 달라 보였어요. 각각을 스물다섯 번 반복해 중앙값을 비교하자, 여전히 다른 건 네 가지뿐이었어요. 열 가지는 잡음 범위 안이었고, 한 가지는 한 번의 실행이 보여 준 것과 정반대를 가리켰어요.
희소한 자원은 마크가 아니라 자리이기 때문이에요. 거래 하나가 들어가면 몇 주 동안 자리를 차지해요. 그동안 나왔는데 들어갈 곳이 없는 건 모두 사라지고 — 돌아오지 않아요. 동점 처리 하나가 거래 하나를 바꾸는 게 아니라, 그 뒤에 거래할 수 있었던 것들의 사슬 전체를 바꿔요.
그래서 효과가 이렇게 커요. 서로 독립적인 작은 차이 스무 개가 더해지는 게 아니라, 처음의 차이 하나가 16년 동안 이어진 결정들을 따라 퍼져 나가는 거예요.
그리고 곧바로 보이는 실용적인 결과가 있어요: 각 거래가 얼마나 오래 열려 있느냐는 어떤 거래를 고르느냐만큼 중요해요. 열려 있는 시간이 자리를 차지하니까요.
전략이 통하는 건지 운이 좋았던 건지라는 질문에 답하기 위해서예요. 거의 아무도 답하지 않는 질문이죠. 실무적인 답은 간단해요: 상관없어야 할 것을 바꿔 가며 같은 테스트를 여러 번 돌리고, 결과가 얼마나 움직이는지 보세요. 그 움직임이 당신의 잡음 범위예요. 그보다 작은 개선은 개선이 아니라, 운 좋은 한 번의 실행이에요.
특히 프롭 펌 평가(펀딩 챌린지)에 돈을 내기 전에 쓸모가 있어요. 당신의 시스템을 같은 과거 데이터로 스무 번 반복했는데 결과가 손실부터 이익까지 오간다면, 실제 평가 결과가 상당 부분 우연에 달려 있다는 걸 이미 아는 거예요 — 그리고 그건 돈을 넣은 뒤가 아니라 전에 쓸모 있는 정보예요.
그리고 두 버전을 비교할 때 봐야 할 것이 바뀌어요: 숫자만이 아니라 숫자와 그 분산. 평균은 같지만 변동이 절반인 버전이 더 좋은 버전이에요. 헤드라인은 그렇게 말하지 않더라도요.
과거 데이터의 결과가 쓸모없다고 말하지 않아요. 반복하지 않은 결과로는 비슷한 두 가지를 비교할 수 없다고 말해요. 스물다섯 번 반복이면 충분하다고 말하지 않아요: 저희가 한 횟수이고, 더 하면 범위가 좁아져요. 이 범위가 당신 시스템의 범위라고 말하지 않아요 — 마크를 얼마나 만드는지, 자리가 몇 개인지, 거래가 얼마나 오래 가는지에 달려 있으니, 당신 시스템에서 직접 재야 해요. 그리고 누가 자기 돈으로 무엇을 해야 하는지에 대해 아무것도 말하지 않아요.
직접 해 볼 수 있고 오후 한나절이면 되는 테스트: 종목 순서를 바꿔 가며 백테스트를 반복해 보세요. 결과가 크게 움직인다면, 진입 기준보다 포지션 한도가 더 큰 영향을 미치고 있는 거고, 어디를 손봐야 할지 알게 돼요.
그리고 어떤 숫자든 다르게 읽는 법: 얼마가 나왔는지 묻기 전에, 몇 번 돌렸는지 물어보세요. 답이 한 번이라면, 보고 있는 건 결과가 아니라 하나의 가능성이에요.
실마리를 더 따라가고 싶다면
이 시리즈의 다른 두 보고서: 전략을 믿기 전에 과거 데이터가 얼마나 필요한가, 그리고 왜 높은 적중률이 좋은 소식이 아닌가. 모두 sophronepsis.com/informes.html에 있어요.
그리고 이런 것을 스스로 보는 법을 배우고 싶다면, 6일 과정이 app.sophronepsis.com/empieza에 있습니다.
보고서는 하루의 사진입니다. 플랫폼 안에서는 새 데이터가 들어오면 측정을 다시 하고, 모든 전략 옆에 그 검증이 붙어 있으며, 멘토는 몇 시든 묻는 것에 답합니다. sophronepsis.com/mentoria.html
이것은 훈계가 아니라 조사입니다. 방법이나 계산에서 오류를 찾으면 hola@sophronepsis.com으로 알려 주세요. 공개적으로 정정하겠습니다. Sophronepsis · 기다린다. 관찰한다. 실행한다.
백테스트: 148개 종목, 16.6년의 일봉 데이터로 생성된 마크 11,988개, 동시 포지션 10개, 3 R 청산. 같은 날 나온 마크 사이의 동점 처리만 다른 동일한 실행 25회. 148개 종목과 16.6년의 일봉 데이터로 측정했으며, 수수료 0.05 %와 슬리피지 0.05 %의 비용을 반영했고, 포지션을 하룻밤 넘겨 보유하는 데 드는 브로커 비용은 반영하지 않았어요. 각 설정은 같은 날 나온 마크 사이의 순서를 섞어 25번 돌리고, 중앙값을 공개해요. 교육용 콘텐츠이며 투자 자문이 아닙니다. 신호를 팔거나 타인의 자금을 운용하지 않아요. Familia FVR · Sophronepsis.