人工知能モデルのトレーニングは、現代の技術開発における最も複雑な課題のひとつである。モデルの効果的なトレーニングには、単純なアルゴリズムの問題以上に、データ、データサイエンス、ドメイン知識、ソフトウェアエンジニアリングを統合した、体系的かつ学際的なアプローチが必要です。ジェームス・ルークがその代表的なテキスト「Beyond Algorithms: Delivering AI for Business」で指摘しているように、AI導入の成功は、アルゴリズムそのものよりも、データ管理とシステム設計に大きく依存する。DeepSeek-R1モデルのようなイノベーションがコストとアクセシビリティを再定義するなど、状況は急速に変化している。
よく信じられていることに反して、データの量が必ずしも成功の決め手とはならない。データの質と代表性の方がはるかに重要である。この文脈では、異なる情報源を統合することが極めて重要である：
この統合により、倫理とプライバシーの基準を維持しながら、実世界のシナリオを捉えた包括的なトレーニングベースが構築される。
人工知能プロジェクトで必要とされる労力の最大80パーセントは、「データ整理」のプロセスで占められている。この段階には以下が含まれる：
アメリカン・エキスプレスのヒラリー・パッカーCTOは次のように指摘した。世界で最も優れたモデルを選択することはできますが、データこそが重要なのです。検証と精度が、生成AIにおける聖杯なのです」。
モデル・アーキテクチャの選択は、個人的な傾向や好みではなく、解決すべき問題の具体的な性質によって導かれなければならない。問題の種類によって、必要なアプローチは異なる：
アーキテクチャの最適化には、性能と計算要件のバランスに焦点を当てた、異なる構成間の体系的な評価が必要であり、この側面は、DeepSeek-R1のような、大幅に低いコストで高度な推論機能を提供するモデルの出現によって、さらに関連性が高まっている。
ディスティレーションは、現在のAIエコシステムにおいて特に強力なツールとして浮上している。このプロセスにより、DeepSeek-R1のような大規模で複雑なモデルの推論能力を継承した、より小規模で具体的なモデルを作成することが可能になる。
DeepSeekのケースに示されているように、同社はMetaのLlamaファミリーやAlibabaのQwenファミリーのオープンソースモデルを含む、いくつかの小さなモデルに推論能力を抽出した。これらの小さなモデルは、その後、特定のタスクに最適化することができ、高速で特殊化されたモデルへの傾向を加速させる。
機械学習開発者のサム・ウィッテヴィーンは、「私たちは、人々が複数のモデルを使う世界に入り始めている。一つのモデルだけを使い続けるのではないのです」。これには、ジェミニ・フラッシュやGPT-4oミニのような低価格のクローズドモデルも含まれる。
マルチタスク学習は、関連するスキルのために別々のモデルを訓練する代わりに、モデルが異なる機能間で知識を共有することを可能にする：
言語モデルの学習に一般的に使用されるウェブや書籍で広く情報が入手できない、非常に特殊な領域で事業を展開する企業にとって、教師ありファインチューニング（SFT）は効果的なオプションです。
DeepSeekは、「数千」の質問と回答のデータセットで良い結果を得ることが可能であることを実証した。例えば、IBMのエンジニアであるクリス・ヘイ氏は、自身の数学に特化したデータセットを使って小規模なモデルを設定し、同じタスクでOpenAIのo1モデルのパフォーマンスを上回る非常に高速な回答を得たことを紹介した。
例えば、カスタマーサポートのチャットボットを共感的でありながら簡潔なものにするなど、特定の嗜好にさらに沿ったモデルを訓練したい企業は、強化学習（RL）技術を導入したいと考えるだろう。このアプローチは、チャットボットがユーザーからのフィードバックに基づいて口調や推奨事項を適応させたい場合に特に有効です。
ほとんどの企業にとって、RAG（Retrieval-Augmented Generation）は最もシンプルで安全な方法である。これは比較的簡単なプロセスで、組織はデータベースに含まれる独自のデータでモデルを固定することができ、出力が正確でドメイン固有であることを保証する。
このアプローチはまた、DeepSeekのようなモデルに関連する幻覚の問題の一部を打ち消すのにも役立つ。Vectaraが実施した調査によると、OpenAIのo3モデルは8％であるのに対し、DeepSeekは現在14％のケースで幻覚を見る。
モデル蒸留とRAGの組み合わせは、ほとんどの企業にとって魔法のようなもので、データサイエンスやプログラミングのスキルが低い人でも、驚くほど簡単に実装できるようになった。
効果的なAIとは、生の精度だけで測られるものではなく、包括的な評価の枠組みが必要である：
DeepSeekのリリースによる最も直接的な影響は、その積極的な値下げである。テクノロジー業界では、時間の経過とともにコストが低下していくことは予想されていたが、それがこれほど早く実現するとは誰も予想していなかった。DeepSeekは、強力でオープンなモデルが安価かつ効率的であることを実証し、広範な実験と費用対効果の高い実装の機会を創出した。
VectaraのCEOであるAmr Awadallah氏はこの点を強調し、真の転換点はトレーニングのコストだけでなく、推論のコストであると指摘した。DeepSeekの場合、トークン1つあたりの推論コストはOpenAIのo1またはo3モデルの約30分の1である。「OpenAI、Anthropic、Google Geminiが獲得できたマージンは、このような高価格では競争力を維持できないため、少なくとも90％削減しなければならないでしょう」とアワダラ氏は言う。
それだけでなく、これらのコストは減少し続ける。AnthropicのCEOであるDario Amodeiは最近、モデルの開発コストは毎年約4倍のペースで減少し続けていると述べた。その結果、LLMサプライヤーがLLMを使用するために請求する料金も下がり続けるだろう。
「TurboTaxやQuickbooksといった税務・会計ソフトでAIを強力に推進しているIntuitのCDO、Ashok Srivastava氏は、「私はコストがゼロになることを十分に期待している。「レイテンシはゼロになるでしょう。これらは単に、私たちが使える基本的な機能になるでしょう」。
OpenAIのDeepSeekとDeep Researchは、AIの新しいツールである以上に、企業が極めてコスト効率が高く、有能で、企業独自のデータとアプローチに根ざした、目的に応じたモデルを大量に導入するという、重大な変化の兆しである。
企業にとって、メッセージは明確だ。強力なドメイン特化型AIアプリケーションを構築するツールは手元にある。これらのツールを活用しなければ、遅れをとる危険性がある。しかし、真の成功は、データをどのように管理し、RAGや蒸留などのテクニックを活用し、事前学習段階を超えたイノベーションを行うかによってもたらされる。
アメックスのパッカーが言うように、データを正しく管理する企業が、AIにおける次の革新の波をリードすることになるだろう。
.svg)
.svg)
.svg)
.jpeg)
.jpeg)
