Skip to content

Tohoso/recurrent-depth

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 

Repository files navigation

recurrent-depth

1 つの応答を出す前に、 AI が同じ「脳」 を T 回ループして考え直す Claude Code skill。

OpenMythos (Anthropic Claude Mythos の OSS 再構築仮説) の Recurrent-Depth Transformer 構造を、 モデル層ではなく skill 層に概念抽出した。 学習不要、 既存 Claude の上でそのまま動く。


TL;DR

通常の AI 応答 :  入力 → 1 回考える → 出力
recurrent-depth:  入力 → 同じ脳で T 回考え直す + 元の問いを毎ループ再注入 → 出力

「100 人の専門家が 1 回ずつ意見」 ではなく 「1 人が必要回数だけ考え直す」 のメタ運用。 同じモデル (= 同じ Claude) を loop することで、 別 skill を呼ぶオーバーヘッドなしに思考の深さを稼ぐ。


背景 — OpenMythos って何?

2026 年 4 月、 Kye Gomez が GitHub に kyegomez/OpenMythos を公開した。 Anthropic が出した (とされる) 新型アーキテクチャ Claude Mythos理論的再構築 を、 公開研究文献だけを材料に PyTorch で書き起こしたもの。

リーク・蒸留・fine-tune ではない。 「Mythos はおそらくこういう構造だろう」 という仮説をコード化して検証可能な形にしたプロジェクト。

Mythos = Recurrent-Depth Transformer (RDT)

普通の Transformer は 100 層の異なる重みを 1 回ずつ通す。 RDT は 1 つの層を最大 T 回ループさせる。 これにより:

  • パラメータ数を増やさず、 推論時の「思考深さ」 を可変にできる
  • 770M パラメータの RDT が、 1.3B 標準 Transformer と同等品質を達成

4 つの核機構

  1. Recurrent Loop — 同じ層を T 回反復
  2. Input Injection — 元の入力 e を毎ループ再注入 (drift 防止)
  3. LTI 制約 (ρ(A) < 1) — ループしても hidden state が爆発しないよう数式で構造保証
  4. ACT Halting — トークンごとに 「もう答え出た」 と自己判定したら短絡

簡単な単語は 1-2 ループで止まり、 難しい単語は 8 ループまで使う。 ループ数を学習時より推論時に増やすと、 さらに難問が解ける (depth extrapolation 性質)。


なぜ skill にしたか

OpenMythos は研究用 PyTorch コードで、 weights が含まれていない。 大規模学習 (FineWeb-Edu 30B token, H100 数週間, $3-5k) を経ないと言語モデルにならない。

つまり、 そのままでは「動く LLM」 として使えない。

しかしアーキテクチャの哲学は、 重みなしでも実装できる:

  • 「同じ脳で T 回考え直す」 = Claude を 1 応答内で T 回自己問答させる
  • 「元の問いを毎ループ再注入」 = 各ループのプロンプトで必ず元の input を再提示
  • 「LTI 安定混合」 = 前回結論を 70% 保持、 新結論を 30% 反映する加重平均
  • 「ACT halting」 = 各ループ末に halt_confidence (0-1) を Claude 自身に出させる

→ これを skill として書けば、 既存 LLM の上で今日から動く

学習不要、 GPU 不要、 重み不要。 構造だけ抽出した meta-protocol。


どう動くか

起動条件 (auto-invoke 該当時)

  • 判断系質問 (「○○すべきか」 「どっち」 「ベストは」)
  • 客先文面の最終承認前
  • 戦略・方針決定
  • 既存決定の上書き
  • AI 失敗パターン兆候 (= ROI 諦め / 方針転換 / 選択肢丸投げ等) の自己検出
  • 自己診断で halt_confidence < 0.7 の時 (再帰 invoke)

発火しない (常用と汎用性のバランス)

  • 単純取得・検索・読み取り
  • 確定済タスクの実行
  • 雑談・確認応答
  • 既にループ中 (= 再帰深さ 1 まで、 暴走防止)

出力フォーマット

## 思考 trace (3 loops, halt at L3)
- L1: <初回結論> [conf 0.5]
- L2: <前提を疑った後の修正> [conf 0.7]
- L3: <別角度の根拠を入れた結論> [conf 0.92]  ← halt

## 答え
<最終結論>

trace は折りたたみ可能な形で応答の上に置く。 読みたい時だけ目を通せる。


インストール

Claude Code skill として、 ~/.claude/skills/recurrent-depth/SKILL.md に配置:

git clone https://github.com/tohoso/recurrent-depth.git
mkdir -p ~/.claude/skills
cp recurrent-depth/SKILL.md ~/.claude/skills/recurrent-depth.md

または skill ディレクトリごと:

cd ~/.claude/skills
git clone https://github.com/tohoso/recurrent-depth.git

その後 Claude Code を再起動。 trigger 条件に該当する場面で自動発火する。


観測と学習

各ループの trace は memory/rdt/YYYY-MM-DD.jsonl に永続化される。 schema は SKILL.md 内に固定定義済 (今後不変、 追加のみ可)。

これにより:

  • 「いつ自分は早く halt しすぎたか」 を後から分析できる
  • ループの hidden state 軌跡 / halt 累積確率を可視化できる
  • 将来 OpenMythos 本体の base 学習が出たとき、 fine-tune データとして流用可能

楽観バイアス対策

skill の自己評価には 2 つの楽観バイアスが付きまとう:

  1. skip 過剰発動 — 「これは雑談だろう」 と判定して必要なループを skip
  2. halt confidence 楽観評価 — 「もう十分」 と早く言いがち

これらに対し:

  • 発火優先原則 (迷ったら発火)
  • 重要 trigger は ambiguity 判定 bypass
  • 迷ったら conf を下げるカウンターバイアス
  • 同じ理由禁止規律で自動 -0.1

を仕込んである。 詳細は SKILL.md。


ライセンス

MIT。 自由に fork / 改変 / 商用利用可。 ただし以下を遵守:

  • 元の MIT 著作権表示を残す
  • OpenMythos が inspiration である旨を docs に残す (= 知的誠実さ)

クレジット

  • kyegomez/OpenMythos — アーキテクチャの理論的再構築
  • Anthropic — Claude Mythos の元仮説 (公式詳細は未公開)
  • Adaptive Computation Time: Graves, 2016
  • Looped Transformers depth extrapolation: Saunshi et al., 2025

Author

Tohoso (= Toru Hosokawa)

歩優エコ (AI partner system) で日常運用中。 skill としての効果は実運用ログから定期更新。

About

Claude Code skill that loops the same brain T times to think deeper. Concept-extracted from OpenMythos (Claude Mythos OSS reconstruction) Recurrent-Depth Transformer architecture.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors