LEARN · 第5部 · 5-3 自分の頭で検証する ― 公開採点という誠実さ 「当たった」を数えるな。当たる“確率”を較正できる者だけが信頼に足る。

我々は「まだ統計的に有意ではない」と自分で言う。それを言える教材は、他に無い。 この本の最後の章は、テクニックの話ではない。予測の良し悪しをどう測るか ―― つまり、 誰かの（あるいは AI の）「当たります」という言葉を、あなたが自分の頭でどう検証するか、の話だ。 「AI 予測 精度 検証」と検索したあなたが本当に欲しかったのは、勝てる手法ではなく、嘘を見抜く物差しのはずだ。 川の旅はここで終わる。だが、相場に対して誠実であり続ける作法は、ここから始まる。

01「当たった率」という罠 ―― なぜ実績は簡単に偽造できるのか

SNS には「的中率 90%」「先週も当てました」という投稿があふれている。あなたはそれを見て、すごい、と思う。 だがその数字は、現代ではほぼタダで偽造できる。計算は安く、画面は無限にあり、予測は無限に出せる。 ここに、初心者が必ず引っかかる三つの罠がある。

一つ目は後付け（チェリーピッキング）だ。100 個の予測を出し、外れた 90 個を黙って消し、 当たった 10 個だけをスクリーンショットで見せる。事後に都合よく選べば、的中率はいくらでも作れる。 二つ目は選択バイアス。「上がるか下がるか」の二択を、明確な水準も期限も決めずに語れば、 値動きが出たあとで「ほら、言った通り」と後出しで意味づけできる。三つ目が少数サンプル。 コインを 3 回投げて 2 回表が出ても、それは「表が出やすいコイン」の証拠にはならない。 予測も同じで、数回当てただけでは偶然と実力を区別できない。

02正しい物差しは「較正」 ―― 70%と言ったことは、本当に約70%起きるか

では、プロは予測の質を何で測るのか。答えは較正（calibration）だ。較正とは、 「自分が言った確率が、現実の頻度と一致しているか」を問う考え方だ。 「確率 70% で上がる」と言った予測を 100 回集めてみて、そのうち本当に約 70 回上がっていれば、その予測者は較正が取れている。 50 回しか上がっていなければ、その人は過信している ―― 70% と言いながら実力はコイン投げと変わらない。

ここが決定的に重要だ。較正は「当てたか外したか」を超えた評価軸である。 当たり外れだけを見るなら、強気で「絶対上がる」と言い切る人が一番派手に見える。 だが本当に信頼できるのは、「これは 55% くらいだ」「これは確信が持てないので様子見だ」と、自分の不確かさを正直に値付けできる人だ。 相場は確率の世界（0-3 で見た通り）であって、確実はない。確実がない世界で唯一できる誠実は、 自分の確信度を正しく較正することなのだ。

較正を一つの数字に圧縮した代表がBrier scoreだ。 予測した確率と「実際に起きた（1）／起きなかった（0）」の差を二乗して平均する。 確信度が現実とズレるほどスコアは悪化する（小さいほど良い）。だから Brier score は、 「強気だったか弱気だったか」ではなく「確信度が現実とどれだけ整合していたか」を一発で採点する。 当たり外れだけを誇る人は、この物差しを決して自分から出さない。

03なぜ「サンプル数」と「有意性」が要るのか ―― 自分で“まだ有意でない”と言える誠実さ

較正の物差しがあっても、もう一つ越えるべき壁がある。サンプル数だ。 予測 10 個で「較正が取れている」と言っても、その 10 個自体が偶然そう並んだだけかもしれない。 測定値には必ず誤差の幅がついて回る ―― これを信頼区間と呼ぶ。 サンプルが少ないと、この幅が広くなる。幅が広いということは、 「実力でそうなった」と「たまたまそうなった」を区別できない、ということだ。

だから本物の検証には、必ずランダムなベンチマークとの比較がいる。 コインを投げて当てずっぽうに予測する“ランダムな対戦相手”を大量に走らせ、 その成績のバラつきの範囲を出す。あなたの予測スコアが、そのランダム勢のバラつきの中に埋もれているうちは、 どれだけ立派な数字に見えても「偶然と区別できていない」のだ。逆に、ランダム勢のバラつきから明確に外へ抜け出して、 その差が統計的に偶然では説明しにくい、と言えて初めて有意になる。

ここに、この教材が他と決定的に違う一点がある。我々の公開採点は現時点で サンプルがまだ小さく、95% 信頼区間がランダムの範囲をまたいでいる。 つまり「まだ統計的に有意とは言えない」。それを我々は隠さず、自分から、そう書く。 都合の悪いドローダウン（負けが続く期間）も公開を止めない。 ―― 「当たります」と言い切る教材はいくらでもある。だが 「まだ証明できていません」と自分で言える教材こそ、あなたが信頼すべき相手だ。 誠実さは、強気の言い切りではなく、不確かさを正直に開示する手続きに宿る。

04予測検証は、昔と今でどう変わったか

05本書の締め ―― 確率で考え、テールを管理し、自分を測り続ける

ここまで川を下ってきた。上流のお金の量（流動性）から、水位を決める金利、 合流点で渦を巻く為替、河口で広がる株へ ―― すべては一本の鎖でつながっていた。 そして第 5 部で、あなたはプレイヤーの椅子から立ち上がり、胴元の側に視点を移した。 美しいバックテストを疑い（5-1）、エッジが混雑で痩せレジームで復活することを知り（5-2）、 そして今、自分の予測すら冷たく採点する物差しを手にした。

この本があなたに残したい作法は、突き詰めれば三つだ。一つ、確率で考える ―― 「上がる／下がる」でなく 「どれくらいの確からしさで、どちらへ傾いているか」。二つ、テールを管理する ―― 平均でなく、 まれにしか起きないが致命的な「裾」を常に勘定に入れる（0-3, 3-3 で見た非対称な巻き戻し）。三つ、自分を測り続ける ―― 予測を出したら物差しに通し、外れを数え、確信度を較正し直す。この三つだけは、相場が変わっても、 AI がどれだけ賢くなっても、変わらない。

最後に、読者であるあなたへ。この本は「勝てる方法」を渡さなかった。なぜなら、 それは数学的に存在しないからだ（0-3）。代わりに渡したのは、嘘を見抜く目と、 自分の確信度に正直であり続ける作法だ。誰かが「絶対当たる」と言ったら、まずその人に問うてほしい ―― 「あなたは外した予測も全部、出す前から公開していますか。較正は取れていますか。サンプルは偶然と区別できますか」と。 その問いを自分自身にも向けられる人だけが、確率の世界で長く生き残る。 相場に対して、そして自分に対して、誠実であれ。それが、この一冊の結論だ。

川を下りきった。だが、ここがゴールではない。確率で考え、テールを管理し、自分を測り続ける ―― その作法を携えて、もう一度、上流から見直してみてほしい。学びは円環だ。