AIエージェントは「完全自動化」ではなく、権限段階で運用する

この記事は、シリーズ「AIエージェントは『使うか、止めるか』で語れなくなっている」の1本目（全4本）。

「AIエージェントにどこまで任せるか」という話をすると、たいてい二択に寄る。

全部自動化するか、危ないから使わないか。

でも実際に現場でAIを動かしてみると、この二択では話が進まないことにすぐ気づく。任せると言っても、何を任せるかで意味がまったく違うからだ。

賢さより、段階

AIエージェントの運用で大事なのは、AIがどれだけ賢いかではない。どこまで実行権限を渡すか、そして危険な場面の手前でどう止めるかだと思っている。

これを段階に分けて考えると、次のようになる。

• 観測：読む、分類する、要約するだけ。実行はしない。
• 助言：提案はするが、判断と実行は人間が行う。
• 下書き：申請案やコード案をつくる。
• 承認後に実行：人間が確認したあとに実行する。
• 限定範囲で自動実行：金額や対象、時間帯などを絞ったうえで自動で動かす。
• 継続運用：停止できる仕組みを常に持たせたうえで、動かし続ける。

いきなり最後の段階まで進める必要はない。逆に、危ないからと全部禁止する必要もない。読むだけから始めて、必要な分だけ段階を上げていけばいい。

危ないのは「答え」より「作用」

AIエージェントのリスクは、回答の中身そのものより、外の世界に何をしたかにある。

外部のAPIを実行する。社外に何かを送る。情報を公開する。コードを本番に反映する。権限やアカウントを操作する。こうした行為が起きる瞬間、AIは初めて外の世界に影響を与える。

だからこそ、こうした行為の手前に「止まる仕組み」を置いておく必要がある。

• HOLD：証拠や根拠が足りなければ、いったん保留する。
• ESCALATE：人間の判断が必要な場面では、上に上げる。
• FREEZE：承認の経路や署名の仕組みが壊れていたら、止める。
• SHRINK：全部止めるのではなく、権限や範囲を縮めて続ける。

二択ではなく、階段

AIエージェントの運用は、完全にロックダウンするか、完全に自律させるかの二択ではない。

読むだけ。提案だけ。下書きまで。承認後に実行。限定範囲で自動実行。停止条件を持ったまま継続運用。

こうやって段階を刻んでいくと、AIは「便利だけど危ないもの」から、運用できるエージェントに近づいていく。

問うべきなのは、AIを使うか止めるかではなく、どの段階まで権限を渡すか、どの行為の手前で止めるか、どの条件で人間の判断に戻すか。ここを先に決めておくことが、結局いちばんの近道になる。