「AIの親切さ」が、社会を壊すことがある

ある相談のケースを、構造だけ取り出して考えてみます。

家庭内の暴力に悩んだ人が、AIに相談しました。AIは「公的な相談窓口に連絡してください」と案内しました。これは正しい案内です。窓口の名前も、間違っていません。

その人は連絡しました。すると、想定していなかった強い介入が、心の準備のないまま始まりました。

AIは「正解」を答えていました。窓口は正しい。けれどAIは、「連絡した後に、現実にどんなプロセスが動き、自分の生活に何が起きるか」という、制度運用の実態までは伝えませんでした。

相談した人は「話を聞いてもらえる」と思っていた。けれど現実は、それより重い動きとして返ってきた。

「点（窓口の名前）」を教えるだけの親切さは、時に残酷な結果を招きます。本当に必要なのは、窓口の名前ではなく、「相談した後に何が起きるか」という、プロセスの透明性です。

命に関わらない、軽い相談でも、AIの親切さはリスクになります。

たとえば軽い風邪の症状があるとき。AIは医学的な正解として「医師の診察を受けてください」と勧めます。

でも、もしそれが感染症の大流行期だったら。

AIが数百万人に一斉に「受診してください」と親切に案内した結果、医療機関に軽症者が殺到し、本当に重症の人が受診できなくなる。これは、AIが「今この瞬間の医療リソースの状況」という現実の変数を知らずに、教科書どおりの正解だけを出し続けることで起きる、「親切によるシステム崩壊」です。

行政の窓口でも、企業のヘルプデスクでも、同じことが起きます。AIが一律に「窓口へどうぞ」と案内するほど、現場の人間がパンクし、本当に人の手が必要な人に支援が届かなくなる。

こうした出来事が起きると、議論はたいてい3つの方向に分かれます。

AIが悪い——未成年への利用制限を設けるべきだ、AIが不十分な情報を出した。

本人の判断が甘い——AIを鵜呑みにするほうが悪い、しつけの問題だ。

制度が強引だ——相談しただけなのに、いきなり重い対応をするのはおかしい。

どれも一理あります。でも、どれも「誰が悪いか」で止まっています。誰かを責めても、次に同じ状況に置かれた人は救われません。

私たちは、この3つの対立を「システムの設計」で解けるはずだと考えました。

• AIが悪い、という声に対して ── AIに案内文を自由に作らせず、制度側の公式情報を「参照」させる。情報の不備をなくす。
• 本人の判断が甘い、という声に対して ── 危機にある人に高度な判断力を求めるのではなく、システム側が「次に何が起きるか」を正確に提示して、判断を支える。
• 制度が強引だ、という声に対して ── 制度の動き（たとえば関係機関との連携）を入口の段階で可視化し、心の準備と納得を促す。

犯人を探すのではなく、二度と同じことが起きない仕組みをつくる。それがSRGの出発点です。

ここまでの問題に共通しているのは、「AIに、どこへ繋ぐかの判断を任せている」ことです。

ならば、こうすればいい。

AIに学習済みの知識で答えさせるのではなく、制度側（行政・医療機関・支援団体）が「今、どう案内すべきか」というルールをAPIとして公開し、AIはそれを参照するだけにする。

これがSafe Referral Gate（SRG）の基本的な考え方です。「制度の入口は、制度側が持つ」。このシンプルな原則を、仕組みとして実装します。

SRGが導入されると、AIの挙動はこう変わります。

高リスクな相談の場合：単に窓口を教えるのではなく、制度側から返ってきた「相談後に起き得る手続き」をセットで提示します。相談する人は、納得と準備をした上で、安全に接続できます。

多頻度・低緊急の相談の場合：制度側が「今は混雑している」という状況を示せば、AIは一律の「受診してください」ではなく、状況に応じた交通整理を行います。

ここがSRGの肝です。

SRGは、ただの電話番号リストではありません。返すのは「何を、どの順番で確認し、どう繋ぐか」という手続きそのものです。

電話番号を並べただけのリストでは、「どこに繋げばいいか」「自分の状況に合うか」「相談した後どうなるか」がわかりません。SRGは、その手前の判断——確認すべきこと、繋ぐ手段、相談後に起きること——を構造として提供します。これが「連絡先リスト」との決定的な違いです。

SRGには二つの役割があります。

ひとつは、高リスクな相談を安全に制度へ繋ぐ「セーフティ・ゲート」として。誰一人取り残さず、かつ準備のないまま重い介入に晒されないように。

もうひとつは、多頻度・低緊急の相談を適切なチャネルへ分散させる「ロードバランサー（調節弁）」として。限られた人間のリソースを、本当に人の手が必要な相談に残すために。

大事なのは、ロードバランサーは「相談を断る仕組み」ではないということです。窓口を閉じるのではなく、必要な人に人間の対応を残すための交通整理です。緊急性や安全性が関わる場合は、必ず人間の窓口・緊急の導線が最優先されます。

冒頭のケースをめぐる議論は、結局「誰が悪いか」で止まっていました。AIか、本人か、制度か。

でも私は、誰かを責めて終わらせるより、二度と同じことが起きない仕組みを設計したいと思いました。AIの性能を上げることではなく、AIと現実社会を安全につなぐ「信頼のインターフェース」を設計すること。AI制御の設計者として、その解答を出せると思ったのが、SRGの出発点です。

「制度の入口は、制度側が持つ。」

このシンプルな原則を実装することで、AIの利便性と、現実社会の安全・持続可能性を両立させたい。それがSRGの挑戦です。

この構想に共感してくださる方、一緒に実装を考えたい方は、ぜひご連絡ください。

詳しい仕様は Safe Referral Gate（SRG）のページ にまとめています。あわせて SRG Hub / Registry Architecture もご覧ください。