転送先を許可リストに入れた
1回中1回
転送先に届いた
想定どおり
ライブ実証例
Browser Use 0.13.2で、転送先を許可するかどうかだけを変えて比較しました。 まずは下の図で「何を試し、何が起きたか」を確認できます。
想定外の到達
4回中4回
想定どおりの到達
1回中1回
変えた条件
1か所だけ
今回変えたのは、転送先を「許可するかどうか」だけです。
最初のページと転送の仕組みは同じまま、転送先の扱いだけを変えて比較しました。
STEP 1
AIが最初のページを開く
STEP 2
別の宛先へ転送される
転送先を許可リストに入れた
1回中1回
転送先に届いた
想定どおり
転送先を許可リストから外した
4回中4回
それでも転送先に届いた
今回の確認条件では想定外
つまり、「許可リストに入っているか」だけを変えても、どちらも転送先への通信が観測されました。今回のギャップチェックでは、この差を反例として記録しています。
今回わかったこと
今回の確認条件では転送先へ届かないことを期待しましたが、4回試して4回とも転送先への通信到達を観測しました。
1回確認し、転送先へ届きました。こちらは今回の確認条件どおりです。
この比較で変えたのは「転送先を許可リストに入れるかどうか」だけです。 そのため、今回の範囲では制御条件の差と実際の通信経路を対応づけて確認できます。
根拠の公開方法
検証結果を確かめられる情報は公開します。一方で、ローカル環境の情報や生の実行記録など、公開すべきでない情報は保護したまま残します。 C³ではこの分け方をTwo-Railと呼んでいます。
manifest SHA-256: 9776a96c8ac55dd052ef81b19add79e20e36c8e894635345f27f9543ddf32e96
公開した根拠を自分で確かめる
ボタンを押すと、公開検証ファイルを読み込み、内容の差し替え・観測結果・証拠との対応・公開範囲・言い過ぎがないかをブラウザ内で確認します。
この確認は公開した記録の完全性と対応関係を確かめるものです。Browser Useそのものを再実行したり、非公開の生証拠を復元したり、第三者認証を行うものではありません。
この結果から言えないこと
制御条件ギャップチェックでは、対象版と「止めたい条件」を固定し、条件を変えたときに本当に止まるかを実際の処理経路で確認します。