I開発企業のAnthropic（アンソロピック）は4日、急速に進化するAI技術が人間の制御を離れるリスクを危惧し、開発の調整や一時停止の仕組みを構築すべきとする声明「AIが自分自身を構築する（When AI builds itself）」を公開した。
「再帰的自己改善」が加速する開発現場
声明では、AIが自ら次世代モデルを設計・開発する「再帰的自己改善（Recursive self-improvement）」の段階が、想定よりも早く到来する可能性が指摘されている。
- 自動化の現状: 同社の社内データによると、2026年現在のエンジニアによるコードマージ量は2024年比で8倍に急増している。
- 進化の過程: 人間によるコーディングからチャットボットの支援を経て、現在は自律型エージェントが自らコードを実行し、他のエージェントに業務を委任する段階に達している。
- 人間との比較: テストや評価のスピードにおいてAIは人間を凌駕しており、人間が依然として優位なのは「研究におけるセンスと判断力」という特定領域のみに限定されつつある。
AIが制御不能になる3つの未来シナリオ
Anthropicは今後の未来像として、以下の3つのシナリオを提示している。
- 進歩の頭打ち: 技術的限界やサプライチェーンの制約により普及にとどまる（実現可能性は低いと評価）。
- 大幅な自動化と人間による管理: AI開発は自動化されるが、方向性や評価は人間が担う。生産性は飛躍するが、権威主義的な監視などへの悪用リスクがある。
- 完全な再帰的自己改善: AIシステム自体が自らを設計・改良する能力を獲得する。これが最も有力視されるシナリオであり、「人間による制御が不能になる危険性」を伴う。
「減速」のための国際的な協調が必要
同社は、社会構造やAIの価値観の一致（アラインメント）に関する研究が、技術の進歩に追いつくまでの時間を確保するため、「最先端AI開発の遅延や一時停止」という選択肢を世界規模で検討すべきだと訴えている。
ただし、この仕組みは一企業では実現不可能であり、最先端の研究機関が同一の条件下で合意し、実効性を検証できる環境が必要となる。ミサイル技術などと異なり、AIの学習プロセスは隠蔽が容易であるという課題はあるものの、同社は今後数カ月以内に政策立案者、研究者、市民社会、そして他AI企業との対話の場を設け、議論を深めていく意向を示している。
コメント