Architecture

1. データフロー (マインドマップ)

外部データソース → cron pipeline → 永続蓄積 → Vercel 配信 → 各 route で表示、 という一方向の流れ。

              ┌──────────────────────────────────────────┐
              │       外部データソース (12 個、 1 次情報)    │
              └──────────────────────────────────────────┘
                              │
   ┌────────┬────────┬────────┼────────┬────────┬────────┐
   ▼        ▼        ▼        ▼        ▼        ▼        ▼
 FRED   CFTC COT  Twelve   Binance  ForexFct  中銀声明  YouTube
 (米マクロ)         Data    Futures             (HTML)   Shopify
                                                  ↓
                                            Claude Haiku
                                            4.5 NLP
                                            (hawk-dove)
                              │
                              ▼
   ┌──────────────────────────────────────────────────────┐
   │  GitHub Actions cron 2 workflow:                      │
   │   - daily_update.yml (heavy 約 36 step、 07/15:30/20:30) │
   │   - hourly_market_refresh.yml (lite 7 step、 毎時)    │
   │                                                       │
   │   fetch → z-score → backtest → LLM Oracle 判断        │
   │                                  (Sonnet 4.6 SC×3)    │
   └──────────────────────────────────────────────────────┘
                              │
                              ▼
              ┌──────────────────────────────┐
              │  data/raw/*.parquet (永続蓄積)│
              │  + market_payload.json (集約)│
              └──────────────────────────────┘
                              │
                              ▼
              ┌──────────────────────────────┐
              │   Vercel auto-deploy          │
              │   kenny.boats (Next.js)       │
              └──────────────────────────────┘
                              │
       ┌──────────────────────┼──────────────────────┐
       ▼                      ▼                      ▼
  Console 13 route       Marketing / EC        管理者向け
  (流動性 / マクロ /     (about / products /   (/admin /kpi)
  FX デスク / etc)       research / sponsors)
       │                      │
       ▼                      ▼
  個人投資家               譲渡先 / 監査人
  機関投資家               法務 / 経理

2. データソース 一覧 (12 source)

各 source の取得頻度・コスト・認証要件。 SLA 違反時は次の cron run で自動 retry、 fail しても dashboard は前回 parquet を表示続行。

3. Route map (kenny.boats の構成)

主要コンソール 13 route (Shell 経由)

独立 page

4. Quant logic (採用戦略 + LLM Oracle)

採用 3 戦略を 8 個 (TSMOM × 5 pair + Macro Event × 3) として equal-weight 合成、 in-sample Sharpe 0.81 (cum +962%, max DD 201%)。 注: in-sample / OoS では性能異なる。

4.5 Panel ⇄ 計算 ⇄ Source トレース表 (バグ時の影響範囲特定用)

「画面の何か数値がおかしい」 と気付いた時の trace map。 panel → payload field → 計算 script → 上流 source の順で辿れる。 ARCHITECTURE.md §9.5 と完全同期。

4.6 障害時の影響範囲マトリクス

ある data source / service が止まった時、 どこが機能不全になるか + 自動回復可否 + 復旧手順。 ARCHITECTURE.md §9.6 と同期。

5. Cron pipeline (GitHub Actions、 2 workflow)

失敗履歴は data/raw/cron_runs.jsonlに永続記録、 GitHub UI に頼らず repo 内で trace 可能。 両 workflow はconcurrency: data-refreshで serialize、 push 衝突を回避。

5.1 daily_update.yml (heavy、 約 36 step、 3 回/日)

07:00 / 15:30 / 20:30 JST に自動実行。 完走時間 4-9 分 (LLM dedup 日は 2 分)。 LLM Oracle / FRED / CFTC / TIC 等 release-based or cost-bound source を含む。

1. Fetch 系 10 step (FRED / MOF / CFTC / TIC / Crypto / Sunday USDJPY / Twelve Data / X / YouTube / ForexFactory / FJ News)
2. Score / NLP 1 step (CB statements Haiku 4.5 採点)
3. Analysis / backtest 2 step (liquidity / CFTC lev_z)
4. Generate UI payload (1st pass) 1 step
5. Time-series snapshot 2 step (signals_history / TSMOM paper trade)
6. LLM Oracle Per-Pair 1 step (Stage 1 Haiku regime + Stage 2 Sonnet 並列 10 + Stage 3 Haiku ranking、 3 セッション) + Dali brief X 投稿 1 step
7. Portfolio backtest 1 step + Generate UI payload (2nd pass) 1 step
8. Synchronize Rate 2 step (score_dali_sync 採点 / build_sync_payload payload)
9. Admin inventory / Forge cron stats + harness graph / Cost dashboard / automation health / MOF monitor 各 1 step
10. Cron run summary + assert outputs 各 1 step / Commit and push 1 step (git push origin main)

5.2 hourly_market_refresh.yml (lite、 7 step、 毎時、 2026-05-19 新設)

毎時 00 分 UTC (24 回/日)、 ~30 秒/run、 LLM 呼出なし。 cost neutral な high-frequency 更新のみ (Twelve Data Pro plan quota 13% 使用、 Binance / CoinGecko / Financial Juice 無料)。 KeyInstruments / MarketHeatmap / 4h chart の last price + chg_pct lag が 8-10h → 1h 以内 fresh。

1. fetch_crypto_oi.py (Binance public)
2. fetch_sunday_usdjpy.py (CoinGecko + TD)
3. fetch_twelve_data.py (55 ticker × 5 TF、 主要 ボトルネック ~10s)
4. fetch_financial_juice_news.py (RSS)
5. generate_ui_payload.py (既存 Oracle/Portfolio parquet を os.path.exists で自動 re-embed、 Oracle field 維持)
6. build_admin_inventory.py
7. Commit + push (`Hourly market refresh [skip ci]`、 empty-commit guard + rebase guard)

5.49 自律改善 layer 構造化 (2026-05-23、 24 件 1 日完結)

KEN「今週 1 週間の振り返り、 ハーネス / スキル / データ構造、 現段階これが一番いい状態？」 → silent skip / cron fail / memory stale / render-truth gap の 4 構造的弱点を 1 セッションで全層構造化。 詳細: CLAUDE.md §18 + ARCHITECTURE.md §11 + memory project_session_2026_05_23。

• P0 cron 監視 chain 3 件: Discord webhook 通知 (`if: failure()`) + output staleness assertion (critical 15 + warn 1) + memory staleness audit (session_start step 8)
• P1 自律改善 強化 6 件: visual_verify_after_push.yml auto-trigger + Node.js v6 bump + quant-reviewer 復活 + Secret rotation reminder (quarterly) + pre-commit hook 強化 + Cost dashboard 14 項目
• P2 残課題 4 件: visual_verify root cause 3 fix (gitignore 解除 + load + parser fix) + MOF JGB 復旧 monitor + Cost 動的化 (TD 自動、 Anthropic 個人 account 制約撤回) + memory audit auto-invoke
• 過剰剪定 3 件: monthly_secret_audit → quarterly (12 → 4 回/年)、 MOF monitor hourly → daily (96% 削減)、 pre-commit pair-integrity grep 削除。 cron 月 732 → 34 回 (95% 削減)
• 足りない 3 件: メタ監視 (各 monitor に heartbeat file)、 memory 自動 prune (`memory_prune_audit.py`、 46 entry / 0 候補)、 closure 可視化 (`build_automation_health.py` + `/admin` AutomationHealthSection)
• 副次 fix 5 件: Crypto OI Binance → Bybit (HTTP 451 ジオブロック解消)、 MOF JGB 5/6 停止確認、 YouTube Secrets 全 5 件登録済確認、 DISCORD_WEBHOOK_URL 登録 (PowerShell UTF-8 fix)、 LLM 土日 skip ($14.5 → $10.4/月)

達成度: 構造 floor 85% 最適。 silent skip → 通知 → fix → 再 verify → メタ監視まで chain 完成、 KEN 操作 残 ゼロ。 残 15% は数週運用後の dead code 剪定 + meta-meta monitor (heartbeat 自身の監視) + memory layer 自動圧縮、 ROI 低で別 phase 推奨。

5.48 Dali 3 セッション化 + X 自動投稿 infra (2026-05-22、 16 commits)

KEN 指示「24h LIVE 配信 (東京/ロンドン/NY) と整合させて Dali ブリーフも 1 日 3 回 cron 発火」 + 「Dali ブリーフ X 自動投稿」 を 1 セッションで完成。 詳細: CLAUDE.md §16 + memory project_session_2026_05_22。

• Dali 3 セッション化: cron 時刻 07:30 / 15:30 / 20:30 JST (東京/ロンドン/NY 開始前)。 `llm_oracle_per_pair.py` 改修: `_now_jst()` で JST date bug 修正、 (date, session) 単位 dedup、 セッション別 JSON + `oracle_archive/YYYY-MM-DD_{session}.json` 永続蓄積。 コスト $5/月 → $14/月
• /briefing 市況/指標 分岐: top picker → 市況 (Dali 履歴 text link) / 指標 (10 指標 grid)、 推奨/避ける カードを `/desk/[pair]` リンク化、 archive 50 件 を `market_brief_history` に embed
• CF Worker `cron-trigger`: GitHub Actions cron 5-10 時間遅延問題対策、 4 cron triggers (daily 3 + hourly 1)、 数秒精度で workflow_dispatch、 Paid plan ($5/月) で cron 上限 5/account → 250/worker に拡張、 fallback は GitHub schedule 残置
• X 自動投稿 cross-repo dispatch: nexus は X credentials 不要、 fx-indicator-business の既存 `manual-x-post.yml` (Ruby x_poster.rb) を workflow_dispatch で叩く。 `format_dali_x_post.py` standard variant (1023 chars: thesis + 推奨 4 + 避け 4 + 詳細 URL) + `post_dali_to_x.py` で 各セッション完了直後に自動投稿
• 注目ニュース セクション: Financial Juice RSS (~1082 件) から 24h 抽出、 relevance keyword (中銀/CPI/NFP/金利/為替/コモディティ/政治/BTC) match + noise keyword (Apple/MS/Tesla 等個別企業) 除外、 最新順 3 件 (standard) / 5 件 (detailed)
• TopTicker SNS 動線: Discord (紫 #5865F2) + YouTube (赤 #FF0000、 @REDFOX99007) + X (黒 #000000、 @redfox99007) 3 button、 公式ブランドカラー + 公式 SVG icon、 全 page 共通
• cron commit fix: `data/insiders/` / `data/forge/` / `data/raw/oracle_archive/` を git add 漏れで cron 2 連続失敗、 3 dir 追加で解消

end-to-end: CF Worker cron (数秒精度) → daily_update.yml → llm_oracle_per_pair → post_dali_to_x → fx-indicator-business manual-x-post → @redfox99007 X 投稿。 1 日 3 投稿で 自動運用 開始。

5.47 Composite Signal framework (2026-05-20、 Phase 1〜3 完成 17 commits)

KEN「対称性 + 固有 edge 区別」 + 「合成 signal 構成要素 method 明示」 要求で 2 層 framework 構築。 全 pair 対称な Common Factor と pair-specific Edge を decomposed display、 USDJPY だけ 19 factor で深掘りという非対称性を矯正。 詳細: CLAUDE.md §15.13 + memory project_composite_signal_2026_05_20。

• Layer 1 Common Factor (10 block × 6 pair = 38 key、 100% real): C-01 Policy Rate Diff / C-02 10Y Yield Diff / C-03 Real Yield Diff / C-04 CB Hawk-Dove (NLP) / C-05 TSMOM / C-06 Carry-to-Vol / C-07 CFTC Lev_z / C-08 Risk-On/Off / C-09 Liquidity / C-10 Yield Curve。 全 pair で同じ計算式の signal を symmetric matrix で表示
• Layer 2 Edge (25 block、 26/27 real = 96%): pair 固有の driver (USDJPY: EURJPY coint / BoJ NLP / 19 factor / 日経 / 日銀 BS、 AUDUSD: Iron Ore / 中国 PMI / 中国 CPI / 中国政策金利 / PBoC NLP / Copper、 USDCAD: WTI / NatGas / BoC NLP / Brent-WTI / 米 ISM、 BTCUSD: OI / funding / dominance 等)。 残 1 cell = BTC ETF flow (Farside HTML scrape 別 phase)
• frontend 3 panel (`PairCommonFactorPanel` 10×6 matrix + `PairEdgePanel` pair-specific + `PairCompositeScorePanel` Common ×0.6 + Edge ×0.4 の statistical hero)、 Shell `03 / COMPOSITE SIGNAL` section 新設、 既存 03 DEEP DIVE / 04 DRIVERS は 04/05 に番号繰下げ
• NLP 新規 RBA / BoC scraper: RBA `/monetary-policy/int-rate-decisions/` から 19 件 + BoC `/press/press-releases/` から 4 件 scrape、 Claude Haiku 4.5 で 159 件 hawk-dove scoring。 RBA latest z=+1.56 (強 hawkish)、 BoC z≈0 (中立)、 C-04 aud = -1.79 σ / cad = -0.81 σ 真値化。 RBA は Chrome UA で 403 bot detection、 'kenny.boats-bot/1.0' UA で 200
• EU HICP 取得 fix: FRED series ID typo (`CP0000EZ19M086NES` → `NEST` 末尾 T 追加) で EU column populate、 C-03 eur = 1.67 pp 真値化
• Edge raw 4 cell 追加 (free public API のみ): Iron Ore (FRED/PIORECRUSDM monthly) + China Mfg Confidence (FRED/CHNBSCICP02STSAM OECD BTS = PMI proxy) + WTI true level (FRED/DCOILWTICO daily) + BTC dominance (CoinGecko `/api/v3/global`)
• Sign convention pair-direction normalize: USDXXX (USDJPY/USDCAD) = positive z LONG pair、 XXXUSD (EURUSD/GBPUSD/AUDUSD) = positive z SHORT pair (counter 弱い)、 BTCUSD = own momentum direct。 threshold |z| ≥ 1.0 STRONG / 0.3 ≤ |z| < 1.0 partial / else NEUTRAL
• 17 commits 投入: Phase 1〜2-D の 13 commits (backend composite logic) + Phase 2-E (NLP) `e6e9f7c` + Phase 2-F (Edge cell) `f8e6596` + Phase 3 frontend `8a2ce80` + docs sync `77a4dfa`

framework 完成度: Layer 1 = 100% / Layer 2 Edge = 96%。 これで /desk/[pair] page で 全 6 pair が「対称な合成 signal」 + 「pair 固有 edge」 + 「統合 LONG/SHORT bias」 の 3 panel で見れる。 USDJPY 専用の 19 factor 深掘り (04 / DEEP DIVE) と並行、 brand 「機関を可視化するクオンツ」 主張に対する非対称性矯正完了。

5.46 Inventory + Sunset + Regime Aggregator round (2026-05-19/20)

Phase 5 後続 1 集中 session で実装。 13 commits 投入、 institutional macro quant 視点での「素材 inventory + 構造整理 + 将来 regime layer 設計」 を一気に整備。 詳細: CLAUDE.md §15。

• Desk pair sunset (8 → 6) → Phase 11 で 10 に拡張: USDCHF / NZDUSD を sunset (institutional driver 不在) → 6 USD ストレート (4 majors + USDCAD + BTCUSD) に整理後、 Phase 11 (2026-05-21) で クロス円 4 (EURJPY / GBPJPY / AUDJPY / CADJPY) を追加し計 10 pair。 全 pair が per_pair Oracle 対象
• /internal/inventory editor: 内製 spreadsheet (706 行 client component、 robots noindex)、 137 row × 10 cat × 822 cell、 7 status (✅/🟣/⚠/⏳/🟡/❌/N/A)、 PAT 1-click GitHub commit で SHINZO ↔ Claude 双方向同期、 Archived cat で削除履歴 reference
• Inventory 拡張 + Factor decomposition: USDJPY 19 factor を 個別 19 factor row に decompose、 USDJPY template bias 構造排除、 機関 quant 視点で不足材料 26 row 追加 (Tier S / Auction / Commodity / Geopolitical 等)
• Regime Aggregator design (2026-05-20): raw 700+ cell → 27 aggregator (5 global + 15 per-zone + 4 pair composite + 3 既存)、 AQR / Bridgewater 標準 approach、 実装は別 phase
• 02 STRATEGY contamination fix (Phase 1-2-3): pair-aware 再 gate、 7 pair 用 PairDriverPanel 新設、 PAIR_META description を実 UI 状態に整合化
• USD common driver 9 → 32 row 拡張: ドル円 pipeline で取得済 USD-side raw macro を全 USD-pair で再利用
• Risk Framework saga (path B): v1 公開準備 → SHINZO「この段階で意味なくないか」 判断で revert、 internal design spec 化、 公開昇格 4 条件明示
• /sponsors hero: Shopify 累積購入金額 (¥1,365 / 3 件)、 MCP-fetched + manual refresh、 /kpi と同 pattern
• /briefing 2 階層化: 10 指標 grid (GDP/JOLTS 追加 9→11) + L2 個別 briefing 一覧 + post-release retrospective
• Global top gateway: GatewayCards 4 destination card grid、 world-monitor の RouteFooter 後ろ
• /about 拡張: Sub-Agent System section + Dali Workflow section、 全公開 page で KEN → SHINZO 表記統一

SHINZO rule encoded: 「お金がかかるものはやらない」 (paid data source 永久除外、 free or self-built proxy で代替) + 「Composite を decompose、 individual factor で per-pair visibility」 (USDJPY template bias 排除)。 詳細 memory feedback_no_paid_sources + feedback_factor_decomposition。

5.45 Phase 5 design 刷新 (2026-05-19)

15 brand designer (Apple / Stripe / Linear / Airbnb / Notion / Figma / Robinhood / Revolut / Wise / Pinterest / VSCO / Instagram / Aesop / SSENSE / Zara) を 並列 audit、 8 utility sub-agent で解析、 SHINZO 7 decisions approved 後 1 session で 20+ commits 投入。

• DLS primitives 16 件 (`frontend/src/components/dls/`): Heading / Text / Num / Badge / SourceBadge / Term / Toggle / DataState / DataView / PanelShell / SectionGroup / Inspector / TodayHeadline / SaveButton / CommandPalette / CurrencySwitcher
• Sidebar IA 13 flat → 4 bucket (観測 / 判断 / ファンダ / 記録) + MobileBottomNav (5 tab thumb-zone)
• Cmd+K verb engine 5 commands (theme:toggle/dark/light, copy:link, shortcuts) + `?` ShortcutsOverlay
• Desk page 構造刷新: chart 上 DaliQuickReadout summary band、 chart 下 SectionGroup 3 group (01 DALI / 02 STRATEGY / 03 DEEP DIVE)、 OptionsLegend → Toggle wrap
• Watchlist (`/watchlist` route) + SaveButton primitive (localStorage v1、 Phase D で Clerk migration)
• Glossary 62 quant 用語 + whenBreaks 3-line schema (`/lib/glossary.ts`)
• Multi-currency (JPY/USD/EUR) on /sponsors
• Serif font Shippori Mincho (editorial route hero 限定、 D-1)
• Chart LIVE: candle.update native pattern + livePriceLine + zoom persist + price flash + 10 pair × 6 tf supported (一部 status 保留)

詳細: CLAUDE.md §14 + memory project_phase5_design_overhaul。 dep 追加 0 (Radix / cmdk / tailwind-merge 全 self-built)。

5.5 Persona ownership + 改修フロー (Dali / Thorp 分業)

2026-05-19 に Thorp persona を sub-agent system + 物理 infra の運用 owner として正式実装 (ADR-011)。 kenny.boats への改修は 2 business agent の分業 で進む — Dali (frontend + data analysis content) + Thorp (sub-agent system + cron / CF Worker / Vercel / Secret)。 詳細は CLAUDE.md §13 参照。

Domain ownership

改修フロー 4 pattern

• Pattern A: Dali が新データ source / panel 追加 → cron yml 変更必要なら Thorp consult、 1 commit で同期
• Pattern B: Thorp が新 infra (cron split / CF Worker 拡張 / Secret rotation) → Dali に impact consult
• Pattern C: Incident response → Thorp owns root cause + 復旧 + postmortem、 data layer 影響あれば Dali consult
• Pattern D: Sub-agent system iteration → Thorp owns end-to-end、 他 business persona affect なら consult

Recursion resolve

Dali ↔ Thorp は peer 関係、 互いを管理しない。 互いの dispatcher / mandate 変更は SHINZO judgment 経由のみ。 self-amendment は両 persona とも forbidden。 Dalio Bridgewater「Idea Meritocracy + founder veto」 structure (SHINZO = founder)。