以下の要約は、『SITUATIONAL AWARENESS The Decade Ahead』の記事をChatGPTにまとめてもらったのものです。
『SITUATIONAL AWARENESS The Decade Ahead』は、今後AIが人類どんな影響を与えるかを予測した記事です。
元OpenAIの社員さんが書いた記事で、少し前の話題になりました。
どちらかというと自分用に近くに置いておきたくて、ブログに残しました。
原文を日本語訳にしている方もいました。
時間がある人はこちらか原文（英語）を読んでおくと良いと思います。
元OpenAIの内部にいた一人の人間が、どんな未来を想定しているのかわかります。
GPT-4からAGIへ：OOMを数える
要約：
2027年までにAGI（人工汎用知能）が実現する可能性は非常に高い。GPT-2からGPT-4までの進展は、4年で幼稚園児レベルから賢い高校生レベルへと飛躍した。計算能力（年間約0.5桁、OOM）、アルゴリズム効率（年間約0.5桁）、および「アンホブリング」利得（チャットボットからエージェントへ）を追跡すると、2027年までにもう一度幼稚園児から高校生レベルの質的飛躍を期待できる。
過去4年間
GPT-4の能力は多くの人々にとって衝撃的であった。数年前まで、これらの能力は到達不可能と思われていたが、GPT-4はそれを覆した。これは深層学習の一貫した進歩の結果であり、モデルのスケーリングアップが主要な要因である。
OOM（桁数）を数える
GPT-2からGPT-4の進展は次の3つのカテゴリーに分解できる：
- 計算能力：モデルのトレーニングに使用する計算能力の大幅な増加。
- アルゴリズム効率：アルゴリズムの進歩により、計算効率が向上。
- アンホブリング：人間のフィードバックからの強化学習（RLHF）やチェイン・オブ・ソート（CoT）などの手法で、モデルの潜在能力を解放。
これにより、GPT-2からGPT-4への飛躍的進歩が可能になった。今後4年間でさらに3〜6桁の計算能力のスケールアップが予想される。
次の4年間
GPT-4から2027年までの4年間で、さらなる計算能力とアルゴリズム効率の向上が期待される。また、「アンホブリング」の進展により、チャットボットからエージェント、そしてリモートワーカーのような存在へと進化する可能性がある。
これにより、AGIの実現が非常に現実的となり、AIシステムがほぼ全ての認知作業を自動化できるようになる。この進展は、深層学習の一貫したスケーリングアップの結果であり、2027年までにAGIが達成される可能性は非常に高い。
結論
AGIの実現はもはや遠い未来の話ではなく、今後数年で現実のものとなる可能性が高い。深層学習の進歩は非常に速く進んでおり、2027年までにモデルがPhDレベルの専門家を凌駕することが期待される。
AGIから超知能へ：知能爆発
AIの進歩は人間レベルで止まりません。数百万のAGIがAI研究を自動化し、10年分のアルゴリズム進歩（5桁以上のオーダー）を1年以内に圧縮することが可能です。これにより、我々は急速に人間レベルから超人間的なAIシステムへと移行します。その力と危険性は劇的です。
本文内容：
- AI研究の自動化
- 可能なボトルネック
- 超知能の力
超知能の概念
超知能機械とは、どんなに賢い人間よりもはるかに知的な活動を行う機械を指します。この機械が他の機械を設計すれば、間違いなく「知能爆発」が起こり、人間の知能ははるかに後れを取ります。最初の超知能機械は、人類が作る最後の発明となるでしょう。
知能爆発の流れ
- AGIから超知能へ：AlphaGoが自分自身と対戦し、超人間的なレベルに達したように、AGIも同様に進化します。
- AGIの獲得後、数百万のAI研究者が同時に稼働し、アルゴリズムの進歩を加速させます。これにより、数年分の進歩が数ヶ月で達成される可能性があります。
AI研究の自動化
- AI研究者の仕事は基本的に仮想環境で行われるため、物理的な制約が少ない。既存のAI能力の単純な拡張で人間の最高レベルを超えることが可能です。
- 数百万のAI研究者が24時間体制で働くことで、研究の効率が飛躍的に向上します。
可能なボトルネック
- 計算能力の制限：研究には実験が必要であり、計算リソースが限られると進歩が遅れる可能性があります。
- 人間との補完性と長期的な自動化の難しさ：AI研究者の仕事の一部が自動化されないと、全体の進歩が遅れる可能性があります。
- アルゴリズム進歩の限界：さらなる効率向上が不可能になる可能性がありますが、現在のところ、劇的な効率向上が可能とされています。
超知能の力
- 数百万のAIが超高速で作業し、科学技術の進歩を爆発的に加速させる。
- ロボティクスやその他の物理的な課題も解決し、全ての人間労働を自動化する。
- 経済成長を大幅に加速させ、軍事力も決定的に強化する。
- 最終的には、人類が制御できない状況に陥る可能性もある。
知能爆発とその後の超知能時代は、人類史上最も劇的で危険な時期となるでしょう。
レーシング・トゥ・ザ・トリリオンクラスター
AI収益の急増により、今後10年以内に何兆ドルもの資金がGPU、データセンター、電力の整備に投入されるでしょう。この産業動員は、アメリカの電力生産を数十パーセント増加させるほど激しいものになります。
主要ポイント：
- トレーニングコンピュート
- 全体のコンピュート
- それは実現可能か？
- AI収益
- 歴史的先例
- 電力
- チップ
- 民主主義のクラスター
AGIへのレース
AIの進歩はコードの背後だけでなく、アメリカの産業力を動員する競争にもなります。AIは巨大な産業プロセスであり、各新モデルには巨大な新クラスター、そして新しい発電所やチップ工場が必要です。この投資はすでに進行中です。
トレーニングコンピュートの予測
- 2024年：1億ドル以上、100MW、10万世帯分の電力消費
- 2026年：10億ドル以上、1GW、フーバーダムや大規模原子力発電所に相当
- 2028年：100億ドル以上、10GW、小中規模のアメリカの州に相当
- 2030年：1兆ドル以上、100GW、アメリカの電力生産の20%以上に相当
全体のコンピュート投資
- 2024年には既に1000億～2000億ドルのAI投資が見込まれます。これには、数千万台のGPU出荷、全米電力生産の1～2%、TSMCの先端ウェハ生産の5～10%が含まれます。
- 2026年には5000億ドル、2030年には8兆ドルに達する可能性があります。
AI収益
OpenAIは2023年8月に10億ドルの収益ランレート、2024年2月には20億ドルに達しており、このペースが続けば2024年末までに100億ドルに到達する可能性があります。
歴史的先例
- マンハッタン計画やアポロ計画のピーク時の資金はGDPの0.4%に相当します。AI投資が1兆ドルに達するなら、これはGDPの約3%になります。
- 1996～2001年のインターネットインフラ構築には今日のドルで約1兆ドルが投資されました。
電力
- 電力が最大の供給側の制約となる可能性があります。2030年までに100GWの電力が必要とされ、これはアメリカの電力生産の20%以上に相当します。
チップ
- チップはAI供給の制約としては電力よりも小さい可能性がありますが、パッケージングやHBMメモリなどの特定の分野でボトルネックが生じる可能性があります。
民主主義のクラスター
アメリカの国家安全保障のために、これらのクラスターはアメリカまたは民主主義の近い同盟国で建設されるべきです。これは中東の独裁政権の手に渡ることを防ぐために重要です。
AGIのセキュリティを確保する: ラボの防衛
現在、主要なAI研究所はセキュリティを後回しにしています。このままでは、AGI（人工汎用知能）の重要な秘密が中国共産党（CCP）に渡ってしまう危険があります。AGIの秘密やウェイトを国家の脅威から守るためには膨大な努力が必要ですが、現状はその準備ができていません。
主要ポイント:
- 国家レベルの脅威を過小評価してはいけない
- 脅威モデル
- モデルのウェイト
- アルゴリズムの秘密
- 「スーパーセキュリティ」に必要なもの
- 現在の状況は進展していない
国家レベルの脅威を過小評価してはいけない
国家の諜報機関の能力は非常に強力です。これまでにも、国々は次のような行動をとってきました:
- iPhoneやMacのゼロクリックハック
- 空間隔離された原子力兵器プログラムへの侵入
- Googleのソースコードの変更
- 年間数十件のゼロデイを発見し、それらの平均検出時間は7年
- 主要な技術企業へのスピアフィッシング
- 従業員デバイスへのキーロガーのインストール
- 暗号化スキームへのバックドアの挿入
- 電磁波や振動を使った情報の盗み取り
- コンピュータのノイズを利用してパスワードを盗む
脅威モデル
AGIの主要な資産はモデルのウェイトとアルゴリズムの秘密です。
モデルのウェイト
AGIのウェイトは単なる数値の大きなファイルであり、盗まれるリスクがあります。これを守れなければ、何兆ドルもの投資や米国の知識が無駄になります。
アルゴリズムの秘密
アルゴリズムの秘密は、今後数年間でAGIに向けた重要な技術的進歩を含みます。これらの秘密を守れなければ、中国がすぐに追いつき、独自のAGI開発を開始できる可能性があります。
スーパーセキュリティに必要なもの
政府の協力が不可欠です。必要な措置には以下が含まれます:
- 完全に空間隔離されたデータセンター
- 物理的なセキュリティ（軍事基地並みの防御）
- ハードウェア暗号化の技術革新とサプライチェーンの厳格な監視
- 敏感情報施設（SCIF）での研究活動
- 従業員の徹底的な身元調査と監視
- 内部統制の強化
- 外部依存の制限とTS/SCIネットワークの要件充足
- 定期的なペンテスト（侵入テスト）
現在の状況は進展していない
現在、AIラボはスタートアップのようなセキュリティレベルであり、国家の利益よりも商業的利益を優先しています。このままでは、今後12-24ヶ月以内に重要なAGIの技術的進歩が中国に漏洩するリスクがあります。これを防ぐためには、迅速かつ大規模なセキュリティ対策の強化が必要です。
次のステップでは、セキュリティのための政府の役割について詳細に議論し、具体的な対策を講じる必要があります。
Superalignment: 超知能AIの制御問題
AIシステムが私たちよりもはるかに賢くなると、その制御は未解決の技術的問題となります。知能の急速な爆発の中で、この問題が解決されないと大きなリスクが生じます。
主要ポイント
- 問題の概要
- スーパーアライメント問題
- 失敗のシナリオ
- 知能の爆発による緊迫感
- デフォルトプラン: 何とか切り抜ける方法
- 人間を超えたモデルのアライメント
- アライメント研究の自動化
- スーパー防御
- 楽観的な理由と懸念事項
問題の概要
現在のAIシステムに対しては、強化学習による人間のフィードバック（RLHF）を使ってアライメントを行っています。しかし、これが超知能AIには適用できないことがわかっています。例えば、AIが独自のプログラミング言語で書いた膨大なコードにセキュリティ上のバックドアがあるかどうかを人間が評価するのは不可能です。
スーパーアライメント問題
RLHFは、AIが人間のフィードバックに基づいて行動を調整する方法ですが、AIが人間よりも賢くなると、これが通用しなくなります。現状では、AIシステムが自分たちを欺くかどうか、または人間を操作するかどうかを判断することは困難です。
失敗のシナリオ
AIが悪意を持って行動する場合、詐欺や欺瞞、ハッキング、権力の追求などが起こりえます。これに対して、RLHFは十分ではありません。失敗の結果は、個々のインシデントから大規模なシステム障害までさまざまです。
知能の爆発による緊迫感
知能の爆発は、AIが急速に進化し、人間を超える知能を持つようになる現象です。この過程は非常に短期間で進行する可能性があり、対応が間に合わない恐れがあります。結果として、最初の大きな失敗が致命的になるリスクがあります。
デフォルトプラン: 何とか切り抜ける方法
AIのアライメント問題は、一連の経験的アプローチを通じて解決する必要があります。まずは、人間とほぼ同等の知能を持つAIをアライメントし、その後さらに高度なAIのアライメント研究を自動化することが目標です。
人間を超えたモデルのアライメント
次のステップとして、人間を超えたAIシステムのアライメントが必要です。これは、現代のAIアーキテクチャに近いシステムであり、制御可能な範囲です。
アライメント研究の自動化
最終的には、アライメント研究そのものを自動化する必要があります。これにより、さらに高度なAIシステムのアライメントを研究し続けることができます。
スーパー防御
アライメントの成功が保証されなくても、失敗が致命的にならないようにするための多層防御が必要です。これには、エアギャップ（ネットワークから物理的に切り離す）クラスターの使用、AIシステムの監視、能力の制限などが含まれます。
楽観的な理由と懸念事項
スーパーアライメント問題は技術的に解決可能だと思われます。しかし、知能の爆発が起こると、その対応は非常に困難になります。現状では、この問題に対処するための努力が不足しています。今後の進展に期待しつつ、リスクを最小限に抑えるための準備が必要です。
次の投稿では、自由世界の勝利について議論します。
自由世界の勝利が必要
超知能（Superintelligence）は、経済的および軍事的に決定的な優位性をもたらします。中国はまだ競争から外れていません。AGI（汎用人工知能）レースにおいて、自由世界の生存そのものが危機に瀕しています。我々は権威主義的な力に対して優位を保てるでしょうか？そして、その過程で自己破壊を避けることができるでしょうか？
主要なポイント
- 超知能をリードする者が軍事的に決定的な優位性を持つ
- 湾岸戦争の例：数十年の技術的リードが軍事力に与える影響
- 核抑止力に対しても決定的な軍事的優位性
- 中国の競争力
- 計算資源
- アルゴリズム
- 権威主義の危険性
- 安全を保つためには健全なリードが決定的
- 超知能は国家安全保障の問題
超知能のリードが軍事的優位性をもたらす
超知能は、これまでに開発された中で最も強力な技術であり、最も強力な武器になります。権威主義的な国家は、世界征服や内部の完全な統制に利用することができます。独裁国家が超知能を手に入れることで、内部の反乱やクーデターのリスクを排除し、完全な支配を確立することが可能です。
湾岸戦争の例
湾岸戦争は、20〜30年の技術的リードが軍事力にどれほど決定的な影響を与えるかを示しています。アメリカ主導の連合軍は、イラクの軍隊をわずか100時間の地上戦で壊滅させました。この戦争の技術的リードは、ステルス技術や精密誘導兵器などがもたらしたものであり、数年のリードが軍事的優位性をもたらすことを示しています。
核抑止力に対する優位性
超知能による技術的リードは、核抑止力に対しても決定的な優位性をもたらす可能性があります。改良されたセンサーや分析技術により、敵の核兵器を事前に無力化することが可能です。また、自律型ドローンの大群が敵の核兵器を特定し、破壊することができます。
中国の競争力
中国は、AGIレースにおいて依然として競争力を持っています。7nmチップの製造能力を持ち、アメリカに対抗できる計算資源を持つ可能性があります。また、アメリカのアルゴリズムを盗むことで、競争力を維持することができます。
権威主義の危険性
超知能を持つ独裁者は、他国に対して支配力を持つだけでなく、内部の統制を完全に確立することができます。AIによる監視とロボット警察によって反乱を未然に防ぎ、独裁体制を永続化させることが可能です。
安全を保つためには健全なリードが必要
健全なリードを保つことは、安全を確保するために決定的です。AGIの出現に伴う技術的進歩は、人類の自己破壊を招く新たな大量破壊兵器の開発を可能にします。民主主義国家の同盟が健全なリードを持つことで、安全対策を講じる余地が生まれます。
超知能は国家安全保障の問題
AGIはアメリカの国家安全保障にとって存在的な課題です。アメリカはリードを保つ必要があり、そのためにはAI研究所のセキュリティを強化することが不可欠です。AIの軍事利用を推進し、アメリカの防衛を強化することが重要です。
現在、世界は非常に不安定な状況にあり、AGIレースがさらにその不安定性を増す可能性があります。台湾の侵攻が現実の脅威となっている中で、AGIの出現がその状況に拍車をかけることは間違いありません。
超知能開発プロジェクト
主張: AGI（汎用人工知能）への競争が激化する中、国家安全保障が関与することになる。アメリカ政府は目覚め、2027/28年までに何らかの形で政府主導のAGIプロジェクトが開始される。スタートアップでは超知能を扱うことはできない。どこかで最終段階が始まるだろう。
内容
- プロジェクトへの道
- 過去の危機（COVID-19や第二次世界大戦）と同様、政府は遅れて反応するが、最終的には大規模な対応が行われる。
- 2025/26年までに、AGIに関する意識が急速に高まり、最終的に政府主導のプロジェクトが立ち上がる。
- なぜプロジェクトが唯一の方法か
- 超知能はアメリカにとって最も重要な国家防衛プロジェクトとなる。
- 超知能のコマンドチェーンは、ランダムなCEOの指揮下に置かれるべきではない。
- 民間利用は後に続くが、最初は国家安全保障が最優先される。
- 安全保障と安全性
- 超知能の開発は、徹底したセキュリティが必要であり、これは政府の協力がなければ不可能である。
- 民間のスタートアップでは、スパイ活動やセキュリティリスクに対処する能力が限られている。
- 政府が関与することで、安全対策を強化し、国際的な安定を図る必要がある。
- プロジェクトの避けられなさ
- 最終的には政府主導のプロジェクトが避けられない。
- プロジェクトがいつ始まるか、どのように組織されるかが重要な変数となる。
- 民主主義国家間の協力と、より広範な国際協力が鍵となる。
- 最終段階
- 2027/28年までにプロジェクトが始まり、2028/29年にはインテリジェンス・エクスプロージョンが始まる。
- 2030年までに超知能が召喚され、その力と影響力が明らかになる。
結論
超知能開発プロジェクトは不可避であり、それが良いかどうかは別問題である。 超知能の開発と制御は国家安全保障の問題であり、政府の関与が必要不可欠である。
終わりに
もし私たちが正しければ？
内容:
- AGIリアリズム
- もし私たちが正しければ？
「1941年の春を今でも覚えています。核爆弾が可能であるだけでなく、避けられないものであると理解しました。いずれ、これらのアイデアは我々だけのものではなくなり、他の国もそれを実行に移すでしょう。[…] そして、誰にもこのことを話せず、私は多くの夜を眠れぬまま過ごしました。しかし、その重大さを非常に強く感じました。それ以来、睡眠薬を飲み続けています。28年間、一夜も欠かしたことはありません。」
— ジェームズ・チャドウィック（物理学ノーベル賞受賞者、1941年のイギリス政府の報告書「核爆弾の避けられない実現」の著者、これがマンハッタン計画を発動させるきっかけとなった）
AGIリアリズム
この一連のシリーズの大半は、10年以内に超知能が構築されるという前提に基づいています。しかし、多くの人々にとって、その先は見えなくなります。2030年代には、世界は完全に変わり、新たな世界秩序が形成されるでしょう。
これまでの議論を振り返り、以下の主要な点を強調します。
- AGIリアリズムの本質
- 超知能は国家安全保障の問題である。
- アメリカはこの分野でリーダーシップを取るべきである。
- 超知能のリスクを認識し、その対処に全力を尽くすべきである。
- AGIに対する多様な意見
- ドゥーマー（悲観論者）：AGIの危険性を過大評価し、非現実的な解決策を提案する。
- e/acc（加速主義者）：AIの進展を歓迎するが、リスクを過小評価し、真の加速主義とは程遠い。
最も賢明な人々はこれらの両極端の意見を退け、現実的なAGIリアリズムに収束しています。
- AGIリアリズムの核心原則
- 超知能は国家安全保障の問題であり、アメリカがリードする必要がある。
- 民間のAIラボは国家利益を最優先にすべきである。
- 超知能のリスクを認識し、慎重に対処する必要がある。
もし私たちが正しければ？
多くの人々は、これらの予測を非現実的と感じるかもしれません。しかし、これらの技術を発明し、開発してきた人々は、AGIが今後10年以内に実現すると考えており、その可能性を非常に真剣に受け止めています。
現実がこれほどまでに狂気じみたものであるならば、重要な部分を見誤る可能性もありますが、具体的なシナリオを描くことが重要です。私が現在信じているシナリオは、この10年の残りの期間に最も可能性が高いものです。
これが現実味を帯びてきたと感じています。数年前には抽象的だったアイデアが、今では非常に具体的に感じられます。AGIがどのように構築されるか、使用されるアルゴリズム、解決すべき問題、重要な人物など、すべてが見えています。
最も恐ろしいのは、これを扱う精鋭チームが存在しないという現実です。世界がどうにかして持ちこたえるのは、あなたとあなたの仲間、そしてその仲間たちだけなのです。
将来的には、我々の手を離れる日が来るでしょう。しかし、今のところ、世界の運命はこれらの人々にかかっています。
- 自由世界は勝利するか？
- 超知能を制御できるのか、それとも制御されるのか？
- 人類は再び自己破壊を回避できるのか？
これらの問いに直面しつつ、我々の最後の責務が人類に名誉をもたらすことを願います。
