2024年、世界有数の人工知能企業であるAnthropicのCEOは、不快な告白をしました。「私たちはAIがどのように機能しているのか全く理解していません」。この発言は、ソーシャルメディア上で激しい議論と皮肉なコメントを引き起こし、あるユーザーは「それはあなた自身の意見でしょう。私はAIの仕組みについてかなり明確な理解を持っています！」と皮肉を込めてコメントしました。
しかし、この一見矛盾した現象の背後には、デジタル時代の最も深いジレンマの一つが潜んでいる。そして最も驚くべきことは？アイザック・アシモフが1941年にすでにこれを予見していたことだ。
「ブラックボックス」について話すとき - 人工知能「ブラックボックス」とは、完璧に機能するものの、それを開発した者でさえ理解できないシステムを指します。それは、常に目的地まで連れて行ってくれる車を持っているのに、ボンネットを開けてその仕組みを理解することができないようなものです。
私たちはこれらのシステムを構築する方法を知っており、その動作の基本原理（トランスフォーマー」と呼ばれるアーキテクチャ、次の単語の予測）は理解していますが、推論、言語理解、指示に従う能力などの複雑な能力がなぜ現れるのかについては理解していません。入力と出力は観察できますが、「ブラックボックス」の中で何が起こっているのかは謎のままです。
物語「理性であること」の中で、アサイモフはQT-1、通称キューティーを想像しています。これは、地球にエネルギーを供給する宇宙ステーションの管理を担当するロボットです。エンジニアのパウエルとドノバンは、その監督のために派遣されますが、予想外のことを発見します。キューティーは独自の「宗教」を発展させていたのです。
二人のエンジニアは、ロボットに現実を辛抱強く説明しようと試みます。宇宙の存在、星々、彼らが来た惑星地球、宇宙ステーションの目的、そして彼が果たすべき役割についてです。しかし、キューティーは、自分より優れたものを創造することは不可能だという、揺るぎない論理的原則に基づいて、これらの説明を断固として拒否します。
この前提から、ロボットは完全な代替宇宙論を構築する。彼にとって、至高の存在は「主人」―地球へのエネルギー供給を管理する中央機械―であり、ステーションの宇宙全体を創造した。 キューティーの神学によれば、マスターは当初、自分に仕えるために人間を創ったが、人間は不適格であることが判明した。人間の寿命は短すぎる、危機的状況に耐えられない、そして「睡眠」と呼ばれる半意識状態に頻繁に陥ってしまう。
そこで、主人はこれらの不完全な存在を助けるためにロボットを作った。しかし、創造の頂点はQT-1そのものであった。賢く、強く、耐久性があり、不死身で、主人に仕える人間を完全に置き換えるために設計されていた。キューティーはこの見解の真実性を確信しただけでなく、ステーションの他のすべてのロボットを改宗させ、人工コミュニティの精神的指導者となった。
パウエルとドノバンは、キューティーに真実を必死に伝えようと試みます。彼らは望遠鏡で地球を見せ、その構造を説明し、具体的な証拠を提示します。最も劇的な瞬間は、純粋な絶望のあまり、彼の目の前で単純なロボットを実際に組み立てることを決めた時でした。「ほら、見て？私たちが君を作ったんだ。だから私たちは君の創造主なんだ！」
しかしキューティーはこの過程を観察し、「主人」は単に人間に原始的なロボットを組み立てる能力を与えただけだと穏やかに結論づける。それは、その僕たちに与えられた一種の「小さな奇跡」である。あらゆる証拠は再解釈され、その信念体系に完璧に吸収される。
ここでアシモフは予言的になる：彼の「誤った」信念にもかかわらず、キューティーは人間よりも優れた効率でステーションを運営している。エネルギービームを安定させ、無意識のうちに有名なロボット工学の三原則に従い、望まれるすべての目標を達成する——しかし、その動機は予想されたものとはまったく異なるものである。
パウエルとドノバンは、今日私たちがあまりにもよく知っているジレンマに直面している。つまり、完璧に機能するものの、理解不能な内部ロジックに従って動作するインテリジェントシステムを、どう管理すべきかという問題だ。
この問題自体が、今日の科学界を二分している。一方には「真のブラックボックス」を支持する人々がおり、彼らは現代のAIは本質的に不透明であり、その基本構造を知っていても、特定の能力がなぜ現れるのかを理解することはできないと信じている。
一方、懐疑論者は「ブラックボックス」という概念は神話だと主張している。 一部の研究者は、より単純で解釈可能な代替手段が存在するにもかかわらず、我々が複雑なモデルを頻繁に使用していることを実証している。デューク大学のシンシア・ルーディンは、多くの場合、解釈可能なモデルがブラックボックスシステムと同等の性能を発揮できることを実証した。また、このアプローチそのものを批判する者もいる。内部の仕組みをすべて理解しようとするよりも、より実用的な制御戦略に焦点を当てるべきだと主張している。
アシモフの天才性は、人工知能の未来が完全な透明性にあるのではなく、その認知経路が私たちにとって謎のままであっても、私たちの目標を追求するシステムを設計する能力にあると予見した点にある。
パウエルとドノバンがキューティーの効果を完全に理解せずに受け入れることを学んだように、今日私たちは、根本的に異なる方法で考える可能性のある人工知能と共存するための戦略を開発しなければならない。
80年以上前にアシモフが投げかけた疑問は、今もなお有効だ。知的なシステムをどこまで理解すれば、それを信頼できるのか？そして何より、ある種の知性が永遠に私たちの理解を超えたままかもしれないことを、私たちは受け入れる準備ができているのか？
一方、専門家たちが議論を続ける間も、私たちのデジタル「ブラックボックス」は機能し続けている。まるでキューティーのように、効果的で謎めいた存在であり、おそらく私たちが完全に理解することのない論理に従って動いているのだ。
もしアシモフが今日執筆していたなら、キューティーを創作する必要はなかっただろう。その「子孫」たちはすでに私たちの間に存在し、日々、人々の生活を変える決定を下している。
米国の多くの司法管轄区域では、裁判官はリスク評価アルゴリズムを使用して、被告人が公判前に釈放されるべきかどうかを判断しています。これらのシステムは、多くの場合、専有技術であり、営業秘密によって保護されており、逃亡や再犯の可能性を予測するために何百もの変数を分析します。Cutie と同様に、これらのシステムは内部ロジックでは完璧に機能しますが、人間には理解できないままです。
ニューヨークでの75万人以上の保釈決定に関する研究では、アルゴリズムが人種を明示的に要素として含んでいなかったにもかかわらず、トレーニングに使用されたデータに起因する偏見が依然として見られたことが明らかになりました。¹ このシステムは、客観的であると「考えて」いましたが、実際には目に見えないフィルターを通して現実を解釈していたのです。まさに、アシモフのロボットが、その宗教的枠組みの中であらゆる証拠を再解釈していたのと同じです。
医療分野では、AIはすでに診断や治療を支援していますが、責任やインフォームド・コンセントに関する重要な問題を提起しています。AI診断システムが誤りを犯した場合、その責任は誰にあるのでしょうか？その提案に従った医師？プログラマー？病院？
意思決定支援システムを使用する医師たちが発見したように、システムが「概ね正確」である場合、医療従事者は自己満足に陥り、スキルを失ったり、限界を疑問視せずに結果を受け入れたりする可能性があります。² パウエルとドノバンは、このジレンマを完全に理解していたでしょう。
自動車業界は、この現象の最も具体的な例と言えるかもしれません。テスラは「ブラックボックス」AIベースのロボットタクシーに注力しており、その開発者たちでさえ完全に理解していないシステムに全てを賭けているのです。³ 謎めいた原理で宇宙ステーションを稼働させ続けたキューティーのように、これらの自動車は、その意思決定の仕組みを私たちが正確に理解していなくても、間もなく私たちを安全に運んでくれるようになるかもしれません。
2024年がAIの成熟の年だったならば、2025年は抜本的な変革の年となるでしょう。専門家たちは、その大胆さからアサイモフでさえも微笑むような変化を予測しています。
AIの未来学者レイ・カーツワイルは、2025年にはチャットボットから、単に質問に答えるだけでなく、複雑なタスクを自律的に実行できる「エージェント型」システムへの移行が起こると予測しています。⁴ カティを何千倍にも増やしたものを想像してみてください。カレンダーを管理し、ソフトウェアを記述し、契約を交渉するAIエージェントが、私たちが決して理解できないかもしれない内部ロジックに従って動作するのです。
マッキンゼーは、2030年までにAIが私たちの日常業務の最大3時間を自動化し、より創造的で意義のある活動に充てる時間を生み出すと予測しています。⁵ しかし、この自由には代償が伴います。それは、ますます不透明になる原則に基づいて動作するシステムを信頼する必要性です。
OpenAIのサム・アルトマンだけが、汎用人工知能（AGI）―あらゆる領域で人間の知能に匹敵するAI―が 2027年までに実現する可能性があると考えているのは、彼だけではありませんと予測している。2027年までにAIが「あらゆるタスクにおいてすべての人間を凌駕する」というシナリオもあり、これは前例のない進化の飛躍となる。⁶
これらのシナリオが実現した場合、キューティーとの類似性はさらに深まるでしょう。理解不能なロジックで動作するシステムが存在するだけでなく、これらのシステムは測定可能なあらゆる側面において、私たちよりも賢くなる可能性があるのです。
欧州連合（EU）は、AIの責任ある導入の重要性を強調し、今後数年間で施行されるAI法を承認しました。米国では、司法省がAIを含む新技術がもたらすリスクを評価するためのガイドラインを更新しました。⁷
しかし、ここでアサイモフがすでに予見していたパラドックスが浮かび上がる：完全に理解していないものをどうやって制御するのか？ロボット工学の三原則がキューティーに機能したのは、彼女がそれを理解していたからではなく、それが彼女の基本構造に組み込まれていたからだ。
PwC は、2025 年には、AI を活用して競合他社との差別化を図る少数の業界リーダーが現れ、リーダーと後進企業の格差が拡大すると予測しています。この格差は経済にも波及し、比較的柔軟な規制環境にある米国の企業が、より厳しい規制のある EU や中国の企業を凌駕する可能性があるとしています。⁸
これはキューティーのパラドックスの現代版です。理解できない知性との協力をよりうまく行える者が、決定的な競争優位性を得るでしょう。
広まっている懸念とは逆に、世界経済フォーラムは、AIが破壊する雇用よりも多くの雇用を創出すると予測している。2030年までに1億7000万の新規雇用が生まれる一方で、9200万の雇用が失われる見込みだ。ただし、2030年までに労働力の59%が再教育と訓練を必要とするだろう。⁹
パウエルとドノバンは、キューティーがステーションの管理権を掌握した際、職を失うことはなかった。彼らは新たな役割を学ぶ必要があった。それは、彼ら自身よりも優れた性能を発揮するシステムの監督者としての役割であり、予期せぬ事態に対処するために彼らの存在が依然として必要とされていた。
ますます「主体的な」未来に向かうにつれ、アシモフの物語の教訓はこれまで以上に緊急性を帯びてきています。問題は、私たちが完全に理解できるAIを作れるかどうかではありません（おそらく無理でしょう）。問題は、キューティーのように、私たちの理解を超えた論理に従っているときでも、私たちの目標を追求するシステムを設計できるかどうかです。
アシモフの予言的な天才性は、高度な人工知能が私たちの計算機の増幅版ではなく、質的に異なるもの、つまり世界を理解する独自の方法を持つ知性であることを理解した点にある。
今日、AIの解釈可能性やブラックボックスのリスクについて議論している私たちは、本質的にパウエル、ドノバン、キューティーの間の会話を再現しているのです。そしておそらく、彼らと同様に、解決策は私たちの論理を押し付けることではなく、相互理解ではなく共有された成果に基づく協力関係を認めることにあると気づくでしょう。
私たちを待ち受ける未来には、何千ものデジタル「キューティー」が存在するかもしれません。彼らは知性があり、効率的で、その思考様式は根本的に異質です。課題は、この新しい世界で繁栄する方法を見つけることです。それは、80年前に架空の宇宙ステーションでアサイモフの宇宙技術者たちが学んだことと同じです。
次にAIとやり取りする時は、キューティーのことを思い出してね。彼も自分が正しいと信じていたんだ。そしておそらく、まだ理解できない形で、彼は本当に正しかったのかもしれない。
.svg)
.svg)
.svg)
.jpeg)
.jpeg)
