AIが「勝手にやってくれる」、それ本当に大丈夫？
ミドリ： タツヤさん、最近のAIエージェントって、質問に答えるだけじゃなくて、実際にメールを送ったり、システムを操作したりまでするって聞いたんですけど……本当ですか？
タツヤ(nodding)： 本当だよ。2025年から2026年にかけて、AIは「対話型（答える）」から「行動型（実行する）」へ大きく進化したんだ。注文を入れたり、返金を処理したり、カレンダーを調整したり。人間の代わりに「手を動かす」ようになった。
ミドリ(surprised)： すごい……けど、ちょっと怖くもありますね。間違ったことを勝手にやられたら、と思うと。
タツヤ： その不安、まさに正解。便利さと危うさは表裏一体なんだ。今日は「行動するAI」を暴走させずに使うための考え方——どこで人間が承認を挟み、どこは任せるか——を整理していこう。
「対話型」から「行動型」へ — 2026年の地殻変動
ミドリ： どれくらい一気に広がってるんですか？
タツヤ： ある調査では、タスク特化型のAIエージェントは2026年末までに企業向けソフトの約40%に組み込まれると見られている。2025年には5%未満だったのに、だよ。
ミドリ(thinking)： 1年ちょっとで5%未満から40%……。急すぎませんか？
タツヤ： 急なんだ。だからこそ問題も起きてる。技術の普及スピードに、使う側の「統制（ガバナンス）」が全然追いついていない。便利な道具が、ルールなしで現場にばらまかれている状態なんだ。
便利さの裏にある「暴走」の正体
ミドリ： 具体的に、何が「暴走」なんですか？
タツヤ： 行動型エージェントが間違うと、被害が「言葉」じゃなく「行動」で出る。たとえば——
- 顧客対応エージェントが、条件を誤解して本来出すべきでない返金を自動実行
- 在庫管理エージェントが、需要予測を外して過剰な発注をかける
- 営業支援エージェントが、間違った相手に機密を含むメールを送信
ミドリ(surprised)： 対話型なら「変な回答」で済むけど、行動型は「実害」になるんですね。
タツヤ： そこが決定的な違い。チャットの誤答は人間が無視すればいい。でも実行された行動は、取り消すのに手間もお金もかかる。だから「実行する権限」をどう設計するかが、すべての肝になるんだ。
ガバナンスが追いついていない現実
ミドリ： よその会社は、ちゃんと管理できてるんでしょうか？
タツヤ(thinking)： それが、できていない。調査によると、成熟したAIガバナンス体制を持つ企業は約21%にとどまる。一方で、約4割の企業は機密データへのエージェントのアクセスを人間の監視なしに許してしまっている、という報告もある。
ミドリ： 5社に1社しか、ちゃんとした体制がない……。
タツヤ： そう。しかも「セキュリティとリスクへの不安」を最大の障壁に挙げる企業が約3分の2。つまり「怖いと思いながら、対策はできていない」会社が大多数なんだ。シャドーAIの話と同じ構造だね。
2つの考え方 — HITL と「統制された自律」
ミドリ： じゃあ、どう管理すればいいんでしょう。全部人間がチェックする？
タツヤ： そこに2つの流派がある。
| 考え方 | 中身 | 向いている場面 |
|---|---|---|
| ヒューマン・イン・ザ・ループ（HITL） | AIが実行する前に、人間が毎回承認する | 高リスク：決済・契約・機密アクセス |
| 統制された自律（Governed Autonomy） | 会社が定めたルールの範囲内で、AIが承認なしに実行する | 低リスク・大量の定型作業 |
ミドリ： 全部HITLにすれば、一番安全じゃないですか？
タツヤ： 安全だけど、それだとAIに任せる意味がほとんど消える。1件ごとに人間が承認してたら、結局人手がボトルネックになる。かといって全部任せたら暴走が怖い。だから現実解は「リスクで線を引く」ことなんだ。
どこに「人間の承認」を挟むか — リスクで線引き
ミドリ： リスクで線を引くって、具体的にはどうやるんですか？
タツヤ： 作業を「影響の大きさ」で3段階に分けて、自律のレベルを変える。
| リスク | 例 | 任せ方 |
|---|---|---|
| 低 | 情報の要約、下書き作成、ラベル付け | 完全に自律でOK |
| 中 | 社内への通知、定型メール送信、データ更新 | 自律で実行＋事後にログ確認 |
| 高 | 返金・送金、外部への重要連絡、データ削除 | 実行前に必ず人間が承認（HITL） |
ミドリ(nodding)： お金が動く・取り返しがつかない、ものほど人間が止める。わかりやすいです。
タツヤ： そう。「金額」「不可逆性」「社外への影響」——この3つが大きいほど、承認のハードルを上げる。これだけでも事故の大半は防げるんだ。
段階的に自律を広げる「権限の昇格」設計
ミドリ： 最初から「これは任せる」って決めるの、ちょっと怖いですね。
タツヤ： だから上手な会社は、最初は狭く任せて、実績を見てから権限を広げる。新入社員と同じだよ。
- まずは全部「実行前に承認」（HITL）から始める
- 一定期間、AIの判断が安定していることをログで確認する
- 問題がなければ、低リスクな作業から「自律実行」に昇格させる
- 想定外の挙動が出たら、即座に承認必須へ「降格」できるようにしておく
ミドリ(thinking)： いきなり社長の決裁権を新人に渡さないのと同じですね。
タツヤ(smiling)： その通り。信頼は「実績」で少しずつ積み上げるもの。AIエージェントも同じ扱いでいいんだ。
中小企業が最初にやるべき3つのガードレール
ミドリ： 大企業みたいな立派な仕組みは作れないんですけど、最低限これだけは、っていうのは？
タツヤ： この3つでいい。
- 「お金が動く操作」は必ず人間の承認を挟む — 例外なし。これだけで致命的事故はほぼ防げる
- エージェントの行動ログを必ず残す — 「いつ・何を・なぜ実行したか」が追える状態にする
- 緊急停止ボタンを用意する — 何かあったら全エージェントを一発で止められる導線を決めておく
ミドリ： 承認・記録・停止。シンプルですね。
タツヤ(nodding)： シンプルだから守れる。脱エンジニアの視点で考えると、難しい技術論より「止められるか・追えるか」を先に押さえられるか、ここが分岐点になります。完璧な仕組みより、まず「ブレーキとドライブレコーダー」を付けることなんだ。
業種別に見る、行動型エージェントの線引き
ミドリ： 「リスクで線を引く」のは分かったんですけど、業種によって線の位置って変わりますか？
タツヤ： 変わるよ。同じ操作でも、業種によってリスクの重さが違うからね。代表的な3業種で見てみよう。
| 業種 | 任せやすい作業 | 必ず承認を挟む作業 |
|---|---|---|
| EC・小売 | 在庫の照会、FAQ応答、レビュー要約 | 返金処理、価格変更、大量発注 |
| 経理・バックオフィス | 経費の仕分け案、書類の下書き | 振込、支払い実行、決算数値の確定 |
| カスタマーサポート | 一次回答の下書き、問い合わせの分類 | 解約処理、補償の確約、契約変更 |
ミドリ(thinking)： どの業種も「お金」と「契約」が動くところは人間が止める、で共通してますね。
タツヤ(nodding)： 本質はそこ。業種が変わっても「金・不可逆・対外」は守る。あとは自社の事情で微調整すればいい。逆に言えば、ここさえ外さなければ、低リスクの定型作業はどんどん任せて生産性を上げていけるんだ。
事故に備える「取り消せる設計」
ミドリ： それでも、もし間違って実行されちゃったら……？
タツヤ： だから「取り消せる設計」を最初から仕込んでおく。完璧に防ぐより、間違っても戻せるほうが現実的なんだ。
- ドライラン（お試し実行） — 本番の前に「もし実行したらこうなる」を表示して確認する
- 猶予つき実行 — 「5分後に送信。それまでは取り消せる」のように、後戻りの時間を作る
- 操作ログと巻き戻し — 何をしたかを記録し、できる範囲で元に戻せる導線を用意する
ミドリ(surprised)： メールの「送信取り消し」みたいな仕組みを、AIの行動ぜんぶに付けるイメージですね。
タツヤ： その通り。「止める・戻せる・追える」の3点セットがあれば、多少の失敗は致命傷にならない。安心して任せられる範囲が、ぐっと広がるんだ。
ミドリ： 「絶対に間違えないAI」を待つより、「間違えても戻せる仕組み」を先に作るほうが現実的なんですね。
タツヤ(smiling)： そう。人間だってミスをする。大事なのは、ミスが起きない前提じゃなく、ミスが起きても被害を最小に抑えられる設計。これは行動型AIでも、人間の業務でもまったく同じ原則なんだ。
「人間が承認する」を、形だけにしないために
ミドリ： 高リスクな操作は人間が承認する、というのは分かりました。でも、毎回ポンポン「承認」を押すだけになったら、意味がない気もして……。
タツヤ： すごく本質的な指摘だ。それは「承認の形骸化」と呼ばれる、実際によく起きる失敗なんだ。承認ボタンが増えすぎると、人間は中身を見ずに反射で押すようになる。これだと「人間が承認している」という建前だけが残って、チェック機能は実質ゼロになってしまう。
ミドリ(surprised)： 中身も見ずにハンコを押しちゃう、あの状態ですね。
タツヤ： まさに。だから承認を「効くもの」にするには、3つの工夫がいる。まず、承認の数を絞ること。本当に重要な操作だけに承認を集中させ、それ以外は自律＋事後確認に回す。次に、判断に必要な情報を一緒に見せること。「この返金は過去の利用履歴と矛盾しています」のように、AIが判断材料を添えてくれれば、人間は意味のある判断ができる。最後に、誰が承認したかを記録すること。責任が伴うと、承認は自然と真剣になるんだ。
ミドリ(thinking)： 数を絞って、材料を見せて、責任を残す。承認を「ちゃんと考える行為」に戻すんですね。
タツヤ(nodding)： そう。承認は多ければ安全、ではない。むしろ多すぎると形骸化して、かえって危ない。少数の重要な判断に人間の注意力を集中させる。それが本当に効くガバナンスなんだ。
まとめ
タツヤ： 今日のポイントを整理しよう。
- AIは「対話型」から「行動型（実行する）」へ進化。2026年末には企業向けソフトの約40%に組み込まれる見込み
- 行動型は誤りが「実害」になる。返金・発注・誤送信など、取り消しに手間とお金がかかる
- 成熟したガバナンス体制を持つ企業は約2割。「怖いのに対策できていない」のが大多数
- 現実解は「リスクで線を引く」。金額・不可逆性・社外影響が大きいほど人間が承認
- 狭く任せて実績で広げる「権限の昇格」設計が安全
- 中小企業はまず承認・記録・停止の3つのガードレールから
ミドリ： 「全部任せる」でも「全部止める」でもなく、リスクで賢く線を引くんですね。
タツヤ： そう。行動型AIは、正しく手綱を握れば、これほど頼もしい相棒もいない。怖がって使わないより、ガードレールを引いた上で使い倒すのが、これからの勝ち筋だよ。
次のアクション
行動型エージェントを安全に活かすために、この順で進めましょう。
- 業務を3段階に仕分ける — 自社の作業を低・中・高リスクに分類する
- 高リスクに承認を、全体に記録を — お金が動く操作は人間承認、すべての行動にログを設定する
- 小さく試す — 低リスクな1業務から自律実行を始め、安定を見て範囲を広げる
Shimanto AI Solutions では、ITに詳しい担当者がいない企業向けに、以下を支援しています。
- 業務のリスク仕分けと、AIエージェントの承認フロー設計
- 行動ログ・緊急停止・権限昇格の仕組みづくり
- 小さく始めて安全に広げる、段階的なエージェント導入の伴走