SHOTAI · 第4部 · 第14章 意思決定ログのバックテスト 裁量は損益で検証できない。だから意思決定の質を遡って採点する。
裁量マクロには「機械的なバックテスト」が存在しない。同じ過去を二度は通れない以上、裁量の損益を過去に再現することはできない。 ではどうするか。検証の対象を、損益から意思決定の質へ移す。過去の主要イベントに遡り、「結果を知らないつもりで、自分ならどう書いたか」を遡及記録し、プロセスとして採点する。 ただし遡及には固有の毒がある――後知恵バイアス。その隔離手順までを含めて1セットだ。
この記事のサマリ
| 区分 | 内容 |
|---|---|
| 🎯 学べること |
① 裁量マクロは機械的にバックテストできない理由(損益は再現不能、判断は再現可能) ② だから検証対象を「損益」から 意思決定の質 に移す=決定ログのバックテスト ③ 後知恵バイアス(hindsight bias)が遡及記録を汚染する仕組みと、その隔離手順 ④ プロセス採点ルーブリック(前提・主張・反証・サイズの4軸)の作り方 ⑤ 前向き版(第13章 予測日記)と遡及版(本章)を 両輪 でサンプルを増やす設計 |
| 🛠 実技で体験 |
① 過去の主要イベントを1件選び、結果を「見ない状態」で 自分ならどう書いたか(前提・主張・反証・サイズ)を遡及記録する ② その遡及ログを4軸ルーブリックで自己採点し、損益とは独立に「プロセス点」を出す ③ 同じイベントで「後知恵に汚染された版」と「隔離した版」を書き比べ、差を体感する |
| ✅ 持ち帰り |
① 覚える核は1つ:裁量は損益でなくプロセスを過去に遡って採点する(決定ログのバックテスト) ② 当たったか外れたかでなく「同じ状況なら同じ品質の判断を再現できるか」を見る視点 ③ 前向き(予測日記)+遡及(決定ログ)でサンプルを両側から積み、低頻度の壁を少しでも崩す習慣 |
この章を一言で
裁量マクロには「機械的なバックテスト」が存在しない。 システマティック戦略ならルールをコードにして過去データに流せば損益曲線が出る。だが裁量は、その時々の地合い・ニュース・自分の解釈が混ざった「人間の判断」だ。同じ過去を二度は通れない以上、裁量の損益を過去に再現することはできない。
ではどうするか。検証の対象を損益から「意思決定の質」へ移す。損益は運とノイズに塗れて再現できないが、判断のプロセス(何を前提に、何を主張し、どこで間違いと認め、どれだけ張るか)は再現できる。だから過去の主要イベントに遡り、「結果を知らないつもりで、自分ならどう書いたか」を遡及記録し、プロセスとして採点する。これが決定ログのバックテストだ。この章で覚えるのは、たった一個だ。
01なぜ裁量は機械的に検証できないのか
第15章(予備)で扱う機械的バックテストは、ルールが固定されているから成立する。「2年金利差が拡大したら買う」をコードにすれば、過去10年に同じルールを一意に適用でき、損益が出る。検証者の気分は混ざらない。
裁量マクロはそうではない。判断のたびに「今回はCPIのサプライズより、その後の長期金利の反応を重く見た」「前回は様子見だったが今回は中銀トーンが変わったので張った」――重み付け自体が状況依存で変わる。これをコードに固定した瞬間、それはもう裁量ではなくシステマになる。
| 観点 | システマ(予備) | 裁量マクロ(本線・本章) |
|---|---|---|
| 検証できるもの | 損益(PF・DD・expectancy_R) | 意思決定の質(プロセス点) |
| 過去への適用 | ルールを一意に再現できる | 損益は再現不能、判断は再現可能 |
| 主観の扱い | 排除する | 採点対象にする(汚染は隔離する) |
| 律速 | データ量 | サンプル数=判断機会の回数 |
「裁量は検証できない=検証しなくていい」ではない。逆だ。機械に頼れない分、人間側の検証を厳しく設計する。検証できないものを検証するのではなく、検証できるもの(プロセス)に対象を付け替える――これが本章の発想転換だ。
当デスクは裁量マクロが主・システマが予備という建て付けで運用している。だから本線の裁量を「損益でなくプロセスで」検証する仕掛けは、おまけではなく検証の本体だ。
02損益でなく「意思決定の質」を採点する
損益は、正しい判断でも負け、間違った判断でも勝つ。サンプルが少ないスイングではなおさら、1回の損益は運とノイズの塊だ。だから損益を直接の点数にすると、運の良い愚行を高く、運の悪い良判断を低く採点してしまう。
そこで採点軸を、判断の構成要素に分解する。当デスクの仮説の型(第6章で示した主張+理由+反証条件+サイズ)をそのまま採点ルーブリックに転用する。
| 軸 | 0点(不可) | 1点(可) | 2点(良) |
|---|---|---|---|
| 前提 | 事実と憶測が混在、出典なし | 主要な前提は挙げた | 事実/仮定を分離し各々に出典・根拠 |
| 主張 | 方向だけで根拠が断絶 | 根拠と方向が一応つながる | 圧力差・織り込みとのズレまで言及 |
| 反証 | 反証条件なし(祈り) | 損切り価格はある | 「この事実が出たら前提が崩れる」を事前明記 |
| サイズ | 確信と無関係なロット | リスク%は決めている | 確信度・相関・テールに整合したサイズ |
採点は損益を見る前に行うのが鉄則だ(理由は§04)。プロセス点が高いのに負けたなら、それは「正しく張って運が悪かった」=継続すべき判断。プロセス点が低いのに勝ったなら、それは「間違ったまま助かった」=最も危険な成功だ。
03決定ログの様式 ―「自分ならどう書いたか」を遡及記録する
遡及記録は、過去の主要イベント(例:ある月のCPIショック、ある会合での中銀トーン転換、円キャリー巻き戻しの初動)を選び、その時点に立って「自分ならどう書いたか」を記入する。損益ではなく、判断の中身を残すための様式だ。
ポイントは、①〜④を結果開示前に書き切ること。⑤で初めて答え合わせをし、⑥で採点する。⑤を先に見てしまうと、①〜④が全て後知恵で書き換わる。様式そのものが「結果を最後に置く」構造になっているのは、汚染を物理的に防ぐためだ。
| 様式の項目 | 何のためにあるか |
|---|---|
| 観測時点の限定 | 後知恵の侵入口を1つに絞る(§04で封じる) |
| 反証条件を④の前に書く | 「祈り」のポジションを構造的に弾く |
| 結果開示(⑤)を後段に隔離 | プロセス採点を損益から独立させる |
| 学び(⑦)を1行に限定 | 改善点を蒸留し、決定ログを次回に効かせる |
04後知恵バイアスを隔離する ―遡及記録の最大の毒
ここが本章の心臓だ。遡及記録は後知恵バイアス(hindsight bias)に最も汚染されやすい。「結果を知った後では、その結果が起きるべくして起きたように見える」。だから何の対策もなく過去を振り返ると、決定ログは「私は最初から分かっていた」という美しい嘘の量産機になる。
「結果を知ったあとで、自分は事前にそれを予測していた/予測できたはずだと感じる認知の歪み」。記憶そのものが結果に合わせて書き換わるため、自覚では防げない。手順で隔離するしかない。
完全な隔離は難しい(その相場を実際に体験した記憶が残っているため)。だから「ゼロにする」でなく「汚染を減らし、汚染の有無を見える化する」ことを目標にする。具体策は次の通り。
| 汚染源 | 隔離策 |
|---|---|
| 結果を先に思い出す | 自分が知らない過去イベントを選ぶ(経験していない年・通貨ペア) |
| チャートの「その後」が見える | データを観測時点で切って提示する(先の足を隠す) |
| 後日の解説・後付けの物語 | 当時の一次情報(指標予想・会合前の見出し)だけを素材にする |
| 反証条件を後から甘くする | ④を確定したら凍結(第16章の「ゲートを後から弄らない」と同じ規律) |
| 採点に結果が混ざる | ⑥は①〜④のみで採点。当落は⑤の欄に隔離して記録 |
最も効くのは1番目――自分が体験していない過去を選ぶことだ。記憶がなければ後知恵も働きにくい。次点が2番目、データを観測時点で切ること。この2つで汚染の大半は抑えられる。
05前向き(予測日記)× 遡及(決定ログ)― 両輪でサンプルを増やす
第13章の予測日記は、これから起きるイベントの前に予測を書く「前向き版」。本章の決定ログは、過去のイベントに遡って書く「遡及版」。両者は同じプロセス採点を、時間軸の逆向きから行う両輪だ。
なぜ両輪が要るのか。スイングは判断機会そのものが少なく、前向きだけではサンプルが何年かけても貯まらない(第17・18章の主題)。遡及で過去の主要イベントを採点すれば、サンプルを過去側からも積める。ただし遡及には後知恵という弱点があるため、前向きの予測日記が「汚染されていない基準点」として効く。
| 軸 | 前向き(第13章 予測日記) | 遡及(本章 決定ログ) |
|---|---|---|
| 時間の向き | 未来へ先回り | 過去へ遡る |
| 後知恵バイアス | 構造的に入らない | 入りやすい(§04で隔離) |
| サンプルの貯まり方 | 遅い(イベントを待つ) | 速い(過去を選べる) |
| 信頼度 | 高い(汚染なし) | 中(隔離の質に依存) |
| 役割 | 汚染なしの基準点 | サンプルの量を稼ぐ |
前向きで「質の基準」を作り、遡及で「量」を稼ぐ。 遡及で出たプロセス点が、前向きのプロセス点と大きく食い違うなら、それは後知恵が混ざった疑い――隔離手順(§04)を見直す合図だ。
そして両者とも、最終的には公開採点(synchronize)のフォーマットに乗せる。点推定で「私は上手い」と言うのでなく、プロセス点の分布と信頼区間で現在地を見る(第18章へ接続)。
06プロセスの再現性を見る ―決定ログの蓄積で何が分かるか
決定ログを1枚書いて終わりではない。蓄積して初めて意味が出る。見たいのは1回の点数でなく、「同じ状況で、同じ品質の判断を再現できているか」=プロセスの再現性だ。
| 蓄積で分かること | 判断への落とし込み |
|---|---|
| プロセス点が安定して高い | 判断は再現可能。サンプルが増えれば信頼区間が締まる |
| 特定の軸(例:反証)が常に低い | そこが構造的な弱点。次の決定ログで重点改善 |
| プロセス点と損益が乖離 | 損益は運込み。点を信じ、損益に振り回されない |
| 学び(⑦)が次回に反映されない | ログが「書きっぱなし」。蓄積が機能していない |
再現性とは「いつも当たる」ではない。いつも同じ品質で判断を組み立てられることだ。当落は運が混ざるが、品質は自分で制御できる。そこを採点し続けるのが、裁量マクロの検証の本体になる。
プロセス点が高くても損益がマイナスなら、それは「正しく張って運が悪い」局面かもしれないし、「プロセスのどこかに見えない欠陥がある」可能性もある。点と損益が長く乖離し続けるなら、ルーブリック自体を疑う。プロセス採点は万能ではなく、それ自体も検証対象だ(第16章の独立検証・凍結の規律へ)。
体験 ― 今すぐ手を動かす
読んで終わりにしない。過去イベントを1件、遡及採点するのがこの章の体験だ。後知恵を隔離する手順(§04)を必ず守ること。
① 遡及記録テンプレ(結果を見る前に①〜④を書き切る)
なるべく自分が体験していない過去のイベント(古い年・別通貨)を1つ選ぶ。データは観測時点で切り、その後の結果・解説は見ない。
| 項目 | 記入欄 |
|---|---|
| イベント名(年月・種類) | ____ |
| 観測時点で得られた事実(出典) | ____ |
| ① 前提(事実/仮定を分けて) | ____ |
| ② 主張(LONG/SHORT/STAND BY+根拠) | ____ |
| ③ 反証条件(外れたと認める条件) | ____ |
| ④ サイズ(確信度・リスク%・相関) | ____ |
| —ここまで確定・凍結してから下へ— | —— |
| ⑤ 事後(実際に起きたこと) | ____ |
| ⑥ プロセス点(前提/主張/反証/サイズ 各0-2) | __ / __ / __ / __ = __/8 |
| ⑦ 学び(次に変える点 1行) | ____ |
② 「汚染版」と「隔離版」を書き比べる
同じイベントで、(A)結果を先に思い出してから書いた版、(B)§04の手順で結果を最後に置いた版、の2枚を作る。①〜④の中身がどれだけ変わったかを見る。変化が大きいほど、あなたの遡及記録は普段どれだけ後知恵に汚染されているかが分かる。
③ プロセス点と損益を切り離す
⑥のプロセス点を出したあと、⑤の損益を点数に足さない。「点は高いが負け」「点は低いが勝ち」のケースを1つずつ作って、当落とプロセスが別物だと体感する。
アクション ― 次の一歩
① 過去の主要イベントを3〜5件リスト化する。種類は分散させる:金融政策会合(中銀トーン転換)/重要指標(CPI・雇用)のサプライズ/危機の初動(円キャリー巻き戻し等)。各々で「観測時点」を1つ決め、そこでデータを切る。出典は各中銀/FRED/経済カレンダーの一次情報に限定する。
② §の体験テンプレで遡及採点を週1件のペースで蓄積する。当デスクの寄り付き前レジーム(/desk/usdjpy の5ドライバー圧力差・統合bias)を「観測時点の地図」として使い、当時の圧力差がどちらに傾いていたかを②主張の根拠に組み込む。当落でなくプロセス点を記録していく。
③ 前向き(第13章 予測日記)と並走させる。前向きで質の基準を作り、遡及で量を稼ぐ。両者のプロセス点が食い違ったら、後知恵の隔離(§04)を点検する。
裁量は損益でなく意思決定の質を過去に遡って採点する(決定ログのバックテスト)。当たったかでなく「同じ状況で同じ品質を再現できるか」。後知恵は手順で隔離する。これだけ持って次へ。
この章の「裁量は損益でなくプロセスで採点する」を、いまの形で見てみよう。当デスクは予測を点推定で誇らず、公開採点(シンクロ率)として分布と信頼区間で現在地を晒している。当落でなく「同じ品質を再現できているか」を見る練習に使ってほしい。
→ 公開採点(シンクロ率)を見る