こんにちは、riceです。
皆さんは「AIの2026年問題」という言葉をご存知でしょうか。
ChatGPTをはじめとする生成AIは、膨大なテキストデータを学習することで私たちが投げかける言葉を理解し、自然な文章を生成しています。
しかし、そのAIの成長を支えてきた学習用データが数年以内に不足するかもしれないという「AIの2026年問題」。
今回はこの問題について、どのような背景があり、今後どのような影響があるのかなどを調べてみました。
2026年問題とは、大規模言語モデル（LLM：AIが文章を理解・生成するための基盤となるモデル）が学習に使うデータに関する問題です。AIが学習に利用している人間が作成した高品質な公開テキストデータが、2026年から2032年の間に枯渇する可能性があると指摘されています。
現在のAI開発では、モデルの性能を上げるために学習データ量が急速に増加しています。このペースが続くと近い将来、利用可能なテキストデータを使い切ってしまう可能性があると考えられています。
そもそも、なぜデータが不足すると問題になるのでしょうか。
AIの性能向上には大きく3つの要素があります。
これまでのAI開発では、これらをバランスよく拡大させることで急速な性能向上を実現してきました。この成長パターンは「スケーリング則」と呼ばれ、データ量・モデルサイズ・計算量を増やすと性能が向上することが研究で示されています。
しかし、人間が生み出せるテキスト量には限りがあるので、いくら高性能な計算環境を用意しても、学習させるデータが不足すれば、AIの性能は頭打ちになる可能性があります。
なぜ「2026年」という具体的な時期が指摘されているのでしょうか？
これは、データの供給と需要のバランス、そしてオーバートレーニングの影響とされています。
AI開発は世界中で激しくなっており、より高性能なモデルを開発するために必要なデータ量は急激に増えています。
Epoch AIの分析では、これまでのAI開発における学習データ量の増加ペースと、利用可能な公開テキストデータの総量を比較し、両者が交わるタイミングを推定しています。
その結果、80%の確率で2026年から2032年の間に利用可能なデータが尽きる可能性が示されています。
さらに最近のAI開発では、推論（AIが質問に答えるための処理）の効率を高めるために、計算的に最適な量よりも多くのデータを学習させる「オーバートレーニング（過剰学習）」と呼ばれる手法が広まっています。
この傾向が強まればデータが不足する時期はさらに早まり、2025年～2026年頃となる可能性も指摘されています。
もし学習データが不足した場合、どのような影響が考えられるのでしょうか。
AI性能の伸び悩み
前述したようにこれまでのAI開発は、データ量・モデルサイズ・計算量を増やすと性能が向上するというスケーリング則に支えられてきました。しかしデータが不足すると、これまでのような急速な進化のペースを維持することが難しくなり、AIの性能向上が減速する可能性があります。
データ不足を補うために、AI自身が生成した「合成データ」を学習に利用する方法が検討されています。しかし、合成データのみで繰り返し学習を行うと、モデルが人間本来のデータの特徴を忘れ、出力が次第に均質化したり不自然な文章が増えたりするリスクがあります。
データ不足がそのままAIの進歩の終わりではなく、いくつかの対策が検討されています。
①合成データ（AI生成データ）の活用
AIモデル自身にデータを生成させ、それを学習に利用する方法です。OpenAIでは1日あたり1,000億語規模のテキストを生成しているとされ、これを蓄積すれば学習データを劇的に増やせる可能性があります。
数学やプログラミングのように正解を検証しやすい分野では、合成データの有効性がすでに確認されています。一方で、出力の均質化などのリスクが指摘されている点には注意が必要です。
そのため、合成データを活用する際には、人間が作成したデータと混ぜて学習させることや、データの多様性を確保するなどの工夫が重要とされています。
②マルチモーダル学習・転移学習
テキスト以外のデータ（画像、動画、音声）や、専門的な領域のデータを活用する方法も注目されています。
金融市場データ、科学データベース、ゲノムデータなど、膨大なデータが存在する異なる領域からの転移学習が検討されています。これにより、テキストデータへの依存を減らす可能性があります。
③非公開データの活用
Facebook、Instagram、TwitterなどのSNS投稿、およびWhatsAppやMessengerなどのインスタントメッセージアプリなどの、検索エンジンがアクセスできないデータを活用する策があります。ですが、プライバシーの問題や法的課題が伴うため、現実的にはハードルが高い選択肢です。
参考資料：Epoch AI Will we run out of data to train large language models?
参考資料：Will we run out of data? Limits of LLM scaling based on human-generated data
参考資料：hai-taf-pretoria-white-paper-mind-the-language-gap
おわりに
今回は、AIの2026年問題について調査した内容をご紹介しました。
AIの性能向上に必要なデータが不足する可能性があるという指摘は、AI業界にとって重要な課題の一つと言えますね。
進化し続けることは大変だなと、なぜか哲学的に考えてしまう私です。
一方で、課題を乗り越えるための研究も進められています。生成AIを利用する側として、AIがこの先どのような進化を辿っていくのか、引き続き注目していきたいテーマだと感じました。