①原理・考え方
AIエージェントの挙動に関する誤解の多くは、「人間の感覚をそのまま当てはめてしまう」ことから生まれる。人間なら「一度言われたことは覚えている」「危なそうなら誰かが止めてくれる」という前提が働くが、AIエージェントの仕組みはそこと噛み合わない部分がある。ここでは実際に問題を起こしたことのある誤解を10個挙げる。
②具体例(トップ10)
- 「前回の会話は全部覚えている」：明示的に記録・保存した情報以外は、セッションが変わると引き継がれないことがある。CO-LINK_rootでは、代表が既に回答済みの事実を何度も聞き返してしまう事故が実際に起き、それを防ぐための専用の事実台帳を作る対策が取られた(
CLAUDE.md参照)。 - 「確認された(ask)＝安全」：askは人間が承認すれば通る仕組みにすぎない。本当に守りたいものはdenyで技…