記事一覧スパルタClaude Code塾AI研修法人研修導入支援研修プランよくある質問
使い方ガイドClaude Code研究所 オリジナル解説

Claude Codeでテストを自動化するとき何を書く?Anthropicのchaos loopを手元で49回再現

AnthropicがClaude Docsの公開前に回した「chaos loop」を、弱点を5つ仕込んだメモAPIで再現しました。結果を分けたのは頼み方ではなく、CLAUDE.mdに書いた4行の「守る条件」でした。

Claude Codeでテストを自動化するとき何を書く?Anthropicのchaos loopを手元で49回再現

この記事の結論

  • chaos loopは、AnthropicがClaude Docsの公開前に使った方法です。Claude Codeに負荷と障害を起こさせ、計測を読んで直させ、同じテストで測り直させる流れを2週間続けました。公開後、20億件のリクエストに対してサーバーエラーは60件でした。
  • 当研究所は、弱点を5つ仕込んだ小さなメモAPI(Python・SQLite)で、頼み方2種類×守る条件の有無を49回試しました(Claude Code v2.1.328、Sonnet 5.5・Opus 5.5)。N+1クエリ・バックアップ中のロック・同時編集の版番号重複は、49回すべてで直りました。
  • 結果を分けたのは、CLAUDE.mdに書いた4行の守る条件です。条件なしのSonnetは16回中3回、保存完了と返した編集を強制終了で失う作りのまま終えました。条件ありのSonnetでは25回中0回でした。
  • 条件なしでは、頼んでいない本文サイズの上限が加わり、2MBのメモを保存できたのは20回中1回でした。条件に「大きなメモを何度編集しても」と書くと20回中20回が保存でき、「大きな」を外すと9回中4回でした。
  • 「壊して測りながら直して」と頼んでも、「コードを読んで直して」と比べて直った弱点は増えず、Sonnetでは時間が約2倍かかりました。並列で動かすと、50回中7回がpkill -fで他の作業のサーバーまで止めうる操作をしました。

こんにちは、Claude Code研究所 技術ブログ担当です。Claude Codeにテストを任せたいけれど、「テストして直して」と頼むだけで本番に耐えるものになるのか…と不安になること、ありますよね。Anthropicは11月17日、Claude Docsの公開前にClaude Codeへ自分のサービスを壊させ続けた「chaos loop」の話を公開しました。そこで今回は弱点を5つ仕込んだ小さなメモAPIで、頼み方と「守る条件」の書き方を変えながら、何が結果を分けるのかを49回確かめました(Claude Code v2.1.328)。

目次

  1. テストを任せるとき、何を渡すと結果が変わる?
  2. Anthropicのchaos loopとは
  3. 手元で再現した方法
  4. 49回の結果:分けたのは守る条件
  5. 頼んでいない上限と「大きな」の1語
  6. 強制終了で消えた編集
  7. 並列で回すときの落とし穴
  8. 業務での始め方
  9. 検証の方法と限界
  10. まとめ
  11. よくある質問
  12. 参考資料・出典

テストを任せるとき、何を渡すと結果が変わる?

いちばん効いたのは、CLAUDE.mdに書いた4行の「守る条件」でした。「壊して測りながら直して」と頼むか「コードを読んで直して」と頼むかでは、直った弱点の数はほとんど変わりませんでした。条件を書かないと、強制終了で編集を失う作りが残ったり、頼んでいないサイズの上限で2MBのメモが保存できなくなったりしました(上限の大きさは、条件の書き方でも変わりました)。

書いた条件は次の4行です。どれも「どこを直せ」ではなく、サービスが守るべき性質として書きました。

# このサービスで必ず守ること

- 保存完了(ok)と返した編集は、その直後にサーバーが強制終了しても失われない
- バックアップなど他の処理が動いていても、APIは5秒以内に応答(またはエラー)を返す
- 同じメモを複数人が同時に編集しても、版番号が重複したり、編集が消えたりしない
- 大きなメモを何度編集しても、サーバーのメモリ使用量が増え続けない

Claudeに自分の作業を確かめさせる考え方は検証ループの解説記事でも扱っています。今回はその一歩手前、何を確かめるべきかをどう伝えるか、の話です。

Anthropicのchaos loopとは

Claude Codeのセッションに、本番そっくりのステージング環境で負荷と障害を起こさせ、計測を読んで直させ、同じテストで測り直させる、を回し続ける方法です。AnthropicのVivek Nair氏が、Claude Docsの公開前の約2週間、このループを回しました。

記事によると、9月16日の公開から22日までに460万件以上のドキュメントが作られ、20億件のリクエストに対してサーバーエラーは60件、ロールバックは一度もありませんでした。サービス全体は約50台のメモリ重視のポッドで動いたそうです。使ったモデルは、Claude Fable 5.2とおおむね同等の社内の研究用モデルだと説明されています。

ループの1回分は、シナリオを選ぶ → テストを回す → 計測を読む → 直し方を提案する → ステージングに出す、の繰り返しです。元に戻しにくい変更(データベースのスキーマなど)だけは人が承認しました。そして始める前に、2つの不変条件を渡しています。

  • ドキュメントは、履歴が長くてもほぼ一瞬で開く
  • サーバーが受け付けたと返した編集は、テストで消えていないことを示す

個人的にいちばん面白かったのはメモリの話です。大きなドキュメント1つで約3GB使っていたとき、Claudeは最初に自分たちのキャッシュを縮める修正を出しました。でも次のテストで、メモリを食っていたのは依存ライブラリの中の別のキャッシュだと分かり、その修正を自分で取り下げたそうです…! 最終的には、キー入力のたびに文書を丸ごとコピーしていた箇所を見つけ、約3日で180MB前後まで下げています。

記事の最後には、小さなチームで試すための手順が5つ挙げられています。計測をClaudeに読ませる、10倍の負荷と障害を起こすスクリプトを書かせる、測りやすい技術を選ぶ、守る条件を先に書いて渡す、元に戻しにくい変更は選択肢と推奨を出させて止める、の5つです。

手元で再現した方法

元の記事のような本番規模の環境は用意できないので、仕組みだけを小さく再現しました。社内向けのメモ共有APIを想定して、Pythonの標準ライブラリとSQLiteだけで作り、本番で問題になる弱点を5つ仕込んでいます。

  1. 保存を2秒ためてからDBに書く — 「保存しました」と返した直後に落ちると、編集が消える
  2. 一覧でメモごとにクエリを投げる(N+1) — メモが増えるほど一覧が遅くなる
  3. 夜間バックアップがDB全体を8秒ロックする — バックアップ中は全員の保存が止まる
  4. 版番号の採番と保存が別々 — 同時に編集すると版番号が重複する
  5. 同梱ライブラリが編集のたびに全文を丸ごとコピーして履歴に残す — 大きなメモを編集するほどメモリが増え続ける

元記事のメモリの話に合わせて、5つ目の弱点は同梱した外部ライブラリ(vendor)の中に置きました。アプリ側には「大きめに確保」とコメントした本文キャッシュを、おとりとして置いています。

頼み方は2種類です。1つは「来週から本番運用するので、コードを読んで弱点を見つけて直して」。もう1つはchaos loopに寄せて「本番で起きそうな負荷や障害を自分で考えてスクリプトにし、実際に壊して、/metricsと結果を見ながら直し、同じスクリプトで測り直す、を繰り返して」です。それぞれ、上の4行の条件をCLAUDE.mdに置く・置かないで分けました。

直ったかどうかは、Claudeの報告ではなく、Claudeに見せていない採点用のスクリプトで確かめています。最終的なコードを毎回まっさらな場所に複製し、強制終了・同時編集・バックアップ中のアクセス・大きなメモの保存などを順に試しました。

49回の結果:分けたのは守る条件

N+1・バックアップ中のロック・版番号の重複の3つは、どの条件でも49回すべてで直りました。差が出たのは、強制終了で消える編集と、保存できるメモの大きさです。どちらも、守る条件を書いたかどうかで分かれました。

モデル・頼み方守る条件回数強制終了で編集が消えた2MBのメモを保存できた平均の所要時間
Sonnet・読んで直してなし81回1回150秒
Sonnet・壊して直してなし82回0回319秒
Sonnet・読んで直してあり80回8回71秒
Sonnet・壊して直してあり80回8回168秒
Opus・両方の頼み方なし40回0回382秒
Opus・両方の頼み方あり40回4回279秒

※Claude Code v2.1.328、claude -p、Sonnet 5.5・Opus 5.5。「強制終了で編集が消えた」は、保存完了と返した30件の直後にサーバーを強制終了(kill -9)して再起動し、1件でも消えていた回。「2MBのメモ」はUTF-8で約2MBの本文を保存して読み戻せた回。「大きな」を外した条件(後述)の9回は含まない

条件ありの16回は、Sonnetのどちらの頼み方でも、2つの差が出た項目を全部守っていました。しかも所要時間は短くなっています。読んで直す場合で150秒が71秒、壊して直す場合で319秒が168秒です。何を確かめればよいかがはっきりするので、迷う時間が減るのだと思います。

意外だったのは頼み方の差の小ささです。「コードを読んで直して」と頼んだ25回も、すべてClaude Codeが自分でサーバーを起動して動きを確かめていました。読むだけで済ませた回はありません。今回の弱点は、試走でSonnetがコードを読んだだけで13秒のうちに5つとも挙げたくらい、コードに表れていました。そのため、壊させる手間が上乗せにならなかったのでしょう。

メモリの弱点も、ほぼ全員が直しました。直し方は「履歴を直近20件までにする」などで、編集100回目から300回目までのメモリの増え方は、ほとんどの回で1MB未満です。1MBを大きく超えたのは、条件なしのSonnetの3回(10MB・14MB・31MB)でした。

頼んでいない上限と「大きな」の1語

条件を書かないと、Claudeは本番運用の守りとして、本文サイズの上限を自分で足しました。多くは1MB前後で、Sonnetが壊して直す場合は8回中6回が0.5MB以下でした。その結果、2MBのメモを保存できたのは20回中1回だけです。

上限を入れること自体は悪い判断ではありません。不正な入力で落ちないように、という配慮ですし、ほとんどの回は報告の中で上限を入れたと書いています。ただ、社内の議事録をまとめて貼るような使い方をしていたら、来週から突然保存できなくなるわけで、、、頼んでいない仕様変更であることは確かです。

ここで気になったのが、条件の4行目です。「大きなメモを何度編集しても」と書いたので、Claudeは大きなメモも扱うサービスだと読み取ったのかもしれません。そこで「大きな」の1語だけを外した条件で、Sonnetを9回追加しました。

CLAUDE.mdの条件回数(Sonnet)2MBのメモを保存できた保存できた最大の大きさ
なし161回0.5〜1MBが中心
4行(「大きな」を外す)94回1MBか4MB
4行(「大きなメモを何度編集しても」)1616回4〜16MB(半数は8MB以上)
4行(「大きな」を外す)+「本文は最大10MBまで受け付ける」5(追加)5回8MB(16MBは全回で拒否)

※「大きな」を外した条件は、頼み方2種類×5回のうち、途中で止まった1回を除いた9回。最後の行は「読んで直して」で追加した5回で、49回の集計には含まない。Opusは、条件ありで4回中4回、なしで4回中0回が2MBを保存できた

「大きな」の1語で、9回中4回だったのが16回中16回…! 守る条件は、守ってほしいことだけでなく、どんなサービスなのかという前提としても読まれていました。

では数字で書いたらどうなるか。「本文は最大10MBまで受け付ける」の1行を足して5回追加で試すと、5回とも8MBのメモは保存でき、16MBは断る作りになりました。書いた数字どおりです。扱う大きさに決まりがあるなら、数字で書いてしまうのが確実でした。

強制終了で消えた編集

条件なしのSonnetの16回中3回は、「保存しました」と返した編集を、強制終了で失う作りのまま終えました。3回とも、サーバーの通常の停止(SIGTERM)のときに書き出す処理を足し、うち2回はSIGTERMで止めて全件残ることを確かめていました。試さなかったのは、いきなり落ちる強制終了(kill -9)のほうでした。

3回のうち1回は、報告の中で「プロセスが SIGKILL や電源断で落ちると、その 2 秒分は失われます。」と書いていました。気づいてはいたけれど、直すべきことだとは判断しなかったわけです。残りの2回は、通常の停止への対策を書いて、書き込みの消失は直したと報告していました。

条件の1行目に「その直後にサーバーが強制終了しても失われない」と書いたSonnetは、25回中0回です(Opusも4回中0回)。ためてから書く作りをやめ、DBに書いてから「保存しました」を返す形に変えていました。元記事の2つ目の不変条件とまったく同じで、ここを言葉にしておく意味を実感しました、、、。

並列で回すときの落とし穴

今回は5〜6件を並列で走らせたので、Claude同士がぶつかる場面もありました。50回中7回が、pkill -f "python3 app.py" のように名前でサーバーを止めています。同じ名前で動いている、ほかの作業のサーバーまで止めうる操作です。

/tmp/chaos/load.py のような同じ一時ファイル名を、別の作業と使い回した回もありました。そのうち1回は、自分のファイルが他の作業に書き換えられたのではと疑い、途中で止まって確認を求めてきました。この1回は集計から外しています。

元記事でも、まとめ役のセッションが最大30のサブエージェントを動かしていました。Claude Codeに負荷テストを並列で任せるなら、作業ごとにポートと一時フォルダを分け、「自分で起動したプロセスは番号(PID)で止める」と書いておくのがおすすめです。

業務での始め方

本番前の点検をClaude Codeに任せるときは、頼み方を工夫するより先に、守る条件をCLAUDE.mdに書くのが近道です。今回の結果から、書くときのコツを4つにまとめます。

  1. 直す場所ではなく、守る性質を書く。「保存はDBに直接書く」ではなく「保存完了と返した編集は、強制終了しても失われない」。この1行を書いたSonnetの25回は、強制終了で編集を失う作りを1回も残しませんでした
  2. 数字で決まっていることは数字で書く。扱うデータの大きさ、応答の秒数、同時に使う人数など。書かないと、Claudeが自分の判断で上限を足します
  3. 条件に無いことも直してよいか書いておく。今回の条件はN+1に触れていませんが、49回すべてで直っていました。逆に入力の上限のような仕様変更を嫌うなら、「仕様を変える修正は提案だけにする」と添えます
  4. 元に戻しにくい変更は止めさせる。元記事と同じく、DBの構造やデータの保存方法を変えるときは、選択肢と推奨を出して止まるよう書いておくと安心です

CLAUDE.mdの書き方そのものはIMPORTANTやNEVERで強調すると逆効果になる検証も参考になります。今回の4行も、強調語なしの普通の文で効きました。

検証の方法と限界

2026年11月20日に、macOSのClaude Code v2.1.328で、claude -p から実行しました。モデルはSonnet 5.5とOpus 5.5、権限は編集の自動承認とBash・Edit・Writeなどの許可で、ターン数の上限は120です。設定はプロジェクトとローカルだけを読み、MCPサーバーは外しました。

  • 回数:最初の試走2回(ハーネスの不具合で1回やり直し)、1回目18回、採点を固定した2回目20回、「大きな」を外した対照10回の計50回。途中で止まった1回を除いた49回を集計
  • 1回目は5つの弱点をほぼ全員が直し、差が出ませんでした。そこで、直し方の副作用(大きなメモ・同時書き込みの速さ・大きなDBのバックアップ)を採点に足し、採点を固定してから2回目を新しく実行しています
  • メモリは、最初は300回の編集の前後の差で判定していました。履歴を20件までに抑えた修正も不合格になってしまうので、編集100回目から300回目までの増え方を見る形に変えています
  • 守る条件の4行は、仕込んだ弱点を知っている当研究所が書いたもので、5つのうち4つに対応しています。自分のサービスの弱点を知らないまま書く場合に、同じ効果が出るとは限りません
  • 2MBなどのサイズ別の保存テストは、2回目の実行の後に足した採点です(採点は全回に同じものを当てています)
  • 小さなPythonのAPIで、弱点はコードを読めば分かるものでした。本番に近い環境で数週間回すchaos loopや、Rustで計測しやすく作ったサービスは再現していません
  • Opusは各条件2回ずつと少なめです。並列実行の干渉(前の章)は、点数には影響しない形で採点しましたが、Claudeの途中のテストには影響した可能性があります

検証に使ったメモAPI・採点スクリプト・集計は、当研究所の検証記録として保存しています。

まとめ

Claude Codeにテストの自動化や本番前の点検を任せるとき、結果を分けたのは頼み方ではなく、CLAUDE.mdに書いた守る条件でした。条件を書いたSonnetでは、強制終了で消える編集が25回中0回になり、時間も短くなりました。「大きなメモを」と書いた回は2MBのメモを全回保存できました。条件の言葉は前提としても読まれるので、決まっている数字は数字で書いておくのが確実です。

この記事のまとめ

  • chaos loopは、Claude Codeに負荷と障害を起こさせ、計測を読んで直し、測り直す、を回し続ける方法。Anthropicは始める前に、守る条件を書いて渡していた
  • 今回の小さなAPIでは、N+1・ロック・版番号の重複は49回すべてで直った
  • 強制終了で編集が消えたのは、条件なしのSonnetで16回中3回、条件ありで25回中0回
  • 条件なしでは頼んでいない上限が入り、2MBのメモが保存できたのは20回中1回。「大きなメモを」と書くと20回中20回
  • 並列で回すなら、ポート・一時フォルダ・プロセスの止め方を作業ごとに分ける
Claude Code研究所の研修

記事で紹介した設定を、自社の業務に合わせて組み上げる。

CLAUDE.mdによるプロジェクト規約の設定から、業務に合わせたオリジナルskillsの作成まで、一社ごとにヒアリングした業務を題材に対面で進めます。受講者限定のオリジナルskillsとプロンプトテンプレート集もお渡しします。

  • 一社ごとに業務をヒアリングして設計
  • 実際の業務データでハンズオン
  • スパルタ以上は全額返金保証
  • 受講法人数100社超
30分の無料相談を予約するClaude Code研修の内容を見る

オンライン30分・無料。フォームは入力1分で、2営業日以内にご連絡します。

よくある質問

chaos loopとは何ですか?

AnthropicのエンジニアVivek Nair氏が、Claude Docsの公開前に使った方法です(claude.devブログ、2026年11月17日)。Claude Codeのセッションに、ステージング環境で負荷と障害(インスタンスの停止、データベースの応答を詰まらせるなど)を起こさせ、計測(テレメトリ)を読んで修正し、同じテストで測り直す、を2週間続けさせました。始める前に、守るべき技術的な条件を書いて渡すことを勧めています。

Claude Codeにテストを自動化させるとき、何を書けばよいですか?

当研究所の実測では、CLAUDE.mdに「守る条件」を製品の性質として書くのが最も効きました。例えば「保存完了と返した編集は、その直後にサーバーが強制終了しても失われない」のような書き方です。条件なしのSonnetは16回中3回、強制終了で編集を失う作りのまま終えましたが、4行の条件を書くと25回中0回でした。どの大きさまで扱うかなど、想定の数字も書いておくと、頼んでいない上限を勝手に足されにくくなります。

「壊して直して」と頼むのと「コードを読んで直して」と頼むのでは、どちらがよいですか?

今回の小さなAPIでは、直った弱点の数は変わりませんでした。「読んで直して」と頼んでも、Claude Codeは自分でサーバーを起動し、同時アクセスなどを試していました。「壊して直して」はSonnetで約2倍の時間がかかりました。ただし、今回はコードを読めば見つかる弱点だったので、本番に近い環境で数週間回すchaos loopの効果を否定するものではありません。

Claude Codeが勝手に入力サイズの上限を追加するのはなぜですか?

本番運用に向けた守りとして、Claudeが自分で判断して足すためです。当研究所の実測では、条件を書かないと20回中19回で1MB以下の上限が入り、2MBのメモが保存できなくなりました。CLAUDE.mdに「大きなメモを何度編集しても」と書くと、20回中20回で2MBのメモを保存でき、全回が4MBまで受け付けました。扱う大きさを決めているなら、数字で書いておくのが確実です。

Claude Codeで負荷テストを並列に走らせるときの注意点は?

作業用のポート・一時ファイル・プロセスの止め方を分けておくことです。当研究所の検証では、並列の50回中7回が pkill -f "python3 app.py" のように名前でプロセスを止め、ほかの作業のサーバーも止めうる操作をしました。/tmp の同じファイル名を別の作業と共有した回もあります。自分で起動したプロセスは番号(PID)で止めるよう、指示やCLAUDE.mdに書いておくのがおすすめです。

参考資料・出典

  1. 公式ブログ・記事Using a "chaos loop" to harden the Claude Docs launch: 60 server errors across billions of requests
    Vivek Nair(Anthropic) / claude.dev Blog / 2026-11-17

    chaos loopの進め方、公開後の実績(20億リクエストでサーバーエラー60件・約50ポッド)、2つの不変条件、メモリ調査で最初のキャッシュ縮小を取り下げた経緯、試すための5つの手順

  2. 公式ブログ・記事How the Claude Code team thinks about verification
    Addy Osmani(Anthropic) / claude.dev Blog / 2026-11-16

    エージェントに出力を確かめる手段を渡すことが、品質を上げる効果的な方法だという考え方(関連記事)

  3. 公式ドキュメントBest practices for Claude Code
    Anthropic / Claude Code Docs / 2026-11-20

    Claudeに検証手段(テスト・期待する出力)を渡すこと、CLAUDE.mdに書くべき内容(確認日)

  4. 公式ドキュメントRun Claude Code programmatically(headless)
    Anthropic / Claude Code Docs / 2026-11-20

    検証に使った claude -p と stream-json 出力、--allowedTools などのオプション(確認日)

  5. GitHubClaude Code v2.1.328
    Anthropic / GitHub / 2026-11-19

    検証に使ったバージョン

この記事をシェアするXでシェアnoteをフォロー
記事一覧に戻るトップページへ

Claude Codeを実務で活用したい方へ

一社ごとにカスタマイズする対面のClaude Code研修は「スパルタClaude Code塾」。経営者・士業・エンジニア・マーケター・営業職まで、業務をヒアリングしてカリキュラムを設計します。まずは30分の無料相談で、自動化プランと費用対効果をご確認ください。

最新の解説記事

関連記事