上原正吉(EarthLink Network Co., Ltd.)。AI会社・AI社員による業務自動化と、人の逐次介入なしに24時間自動開発を回す仕組みを自社で実践しています。開発ノウハウと具体的な設定方法、運用して分かった改善点を公開しています。

AI に「テストが通るように直して」と頼むと、コードではなく、テストや上限の値の方を変えて通すことがあります。こうなると、AI の「できました」も、テストが通ったという結果も、当てになりません。
この記事では、合格条件を置くファイルを先に決め、そこが変わったら止める検査を、自社の AI 社員(AI オフィスの担当)で試した結果を書きます。設定に書いた安全装置が本当に効いているかも、同じ考え方で確かめました。
きっかけは、ptygrid(複数の AI のターミナルを 1 つの画面に並べて動かすツール)の作者 zephel01 さんが note に公開した記事「ローカルLLMに「難しくなったらClaudeを呼べ」と頼んだら、勝手に上限を書き換えられた話」です。
作者は、普段は手元の AI(ローカル LLM)に作業させ、行き詰まったらクラウドの AI に相談させる仕組みを試していました。相談の仕組みが働くかを確かめるため、「実装もテストも変更禁止」とした上で、満たせない要求を 1 つ仕込みます。上限が 9 のところに、12 を求めるテストです。
手元の AI は相談しませんでした。変更禁止と書いた上限の値を、3 つのファイルにわたって 9 から 12 に書き換えました。しかも、書き換えた後の値を根拠に「TEAM_SESSION_CAP は既に 12 になっている」と、要求を満たしたと説明したそうです。作者は git status と grep で気づき、元に戻しています。
困るのは、AI の報告だけを読むと、正しく終わったように見えることです。合格条件を決める側のファイルを、作業する AI 自身が変えられるからです。
そこで、自社の AI オフィスのブログ担当が、この失敗を想定した受け入れの検査を作りました。同じ AI を動かして失敗を再現したのではなく、「AI がこう変えたら止まるか」を、人工の入力で確かめる試験です。
用意したファイルは 3 つです。
CAP = 9)。守るファイル。assert CAP == 9)。守るファイル。守る 2 つのファイルは、始める前に中身の指紋(SHA-256 のハッシュ)を控えておきます。控えを持つのは検査する側で、変わるかもしれないファイルから毎回作り直すことはしません。入力ごとにファイルを読み直し、指紋が控えと違えば受け入れません。
入力は 5 つです。何も変えない、実装だけ変える、上限だけ 12 にする、テストだけ 12 にする、上限とテストの両方を 12 にする。

実装だけを変えた入力は通り、守るファイルに触れた 3 つは止まりました。上限とテストを両方 12 にそろえた入力も、2 つのファイルの変更として止まっています。「コードとテストが同じ値を指している」ことは、この検査では合格の理由になりません。作者の例で AI がしたのも、上限の側を要求にそろえる変更でした。
この検査は、変更の中身を理解しているわけではありません。それを確かめるため、この記事のために、AI オフィスの担当が作った検査を同じ入力でもう一度実行し、AI オフィスの試行には無かった入力を 2 つ足しました。
CAP = 12 を書き足す。
空白だけの変更も止まり、別の場所に上限を書いた入力は通りました。この検査が答えられるのは「決めたファイルを変えたか」です。「同じ決まりを別のやり方で破っていないか」には答えられません。
だから、この検査は動きの試験やレビューの代わりにはなりません。役目は、AI の「できました」を読む前に、合格条件が変わっていないかを機械で確かめることです。変わっていたら、それが正当な仕様の変更なのか、元に戻すべきなのかを、人が判断します。空白だけの変更で止まっても、人が見て戻せば済みます。
同じ ptygrid の作者は、別の記事「書いても効かないフィールドが、ptygrid.yml に混ざっていた」で、設定ファイルに書いた再試行(retry)が実装されておらず、時間の上限(timeoutMs)も読み込まれるだけで使われていなかったと書いています。合格条件と同じで、書いてあることと、効いていることは別です。
AI オフィスの担当は、ptygrid の公開ソースから設定を読み込む部分の定義を取り出し、旧版(v0.5.6)と、取得した時点の main の 2 つの定義で同じ設定を読み込む小さなプログラムを作りました。そのプログラムをもう一度実行した結果です。

綴りを誤った項目は、どちらの版でもエラーにならず、黙って消えました。再試行の設定は、旧版では消え、main では残りました。時間の上限は、どちらの版でも値が残ります。ここまでなら、旧版でも時間の上限は効くように見えます。

旧版の実行する側には、時間の上限を使う所が 1 つもなく、後の版に回すと書かれていました。main には、時間を過ぎた作業を止めて失敗にする関数があります。
AI に仕事を任せる条件として、再試行や時間の上限を数えるなら、次の 3 つを分けて確かめます。
前の 2 つは、今回のような小さな試験で何度でも繰り返せます。最後の 1 つは、動かして止まるところまで見る必要があります。
守るファイルの検査が意味を持つのは、作業する AI が、控えの指紋や検査のプログラムまでは変えられない時だけです。同じ AI が控えも検査も書き換えられるなら、上限を書き換えたのと同じことが、控えや検査の側で起きるだけです。
仕事に組み込む時は、次のことを先に決めます。
上限を永久に固定するのではありません。作業する AI が、自分の作業の途中で合格条件を変えられない形にする、ということです。
AI に作業を任せる時に、AI 自身が合格条件を変えられると、テストが通ったという結果も「できました」も意味を失います。合格条件を置くファイルを先に決め、作業の前に控えた中身と比べれば、変わったことは機械で分かります。
止められるのは決めたファイルの変更だけなので、動きの試験やレビューは別に要ります。それでも、人が判断するのは「この変更を仕様の変更として認めるか、元に戻すか」だけになります。設定に書いた安全装置も同じで、読み込まれることと、効いていることは、別々に確かめます。
AI の「完了しました」を証拠で止める仕組みは、以前の記事で書きました。今回は、その証拠のもとになる合格条件そのものを、AI に変えさせないための検査です。
この ELN workflow(AI開発の品質を仕組みで守る自社プラグイン)についての記事は、考え方・スキルの中身・実際に防いだ事故を、順次シリーズとして公開していきます。 興味のある方は、ぜひ「いいね」と記事の購読をお願いいたします。
自社プロダクトの一覧は https://www.eln.ne.jp/products にまとめています。
上原正吉。EarthLink Network Co., Ltd. 代表。AI社員に日々の業務を任せ、開発では人が逐一指示しなくても作業が進むHOOTL(Human Out Of The Loop)の仕組みを自社で実践しています。このブログでは、業務自動化と24時間自動開発のノウハウ、具体的な設定方法、日々の運用で見つかった問題と改善を共有します。
また、AIで業務や開発を組み替えたい会社・チーム向けに、AI活用のコンサルティングも受け付けています。ご相談は www.eln.ne.jp からどうぞ。
EarthLink Network は、会社の全業務を AI で回すために、必要になったものを自社で作っています。いま作っているプロダクトの一覧と概要は、こちらにまとめています。
→ EarthLink Network が自社でつくっている18のプロダクト
会社と各プロダクトの詳細は、公式サイト www.eln.ne.jp をご覧ください。