著者:ユージン・チア
編集者: J1N、Techub ニュース
AI コンピューティング能力のコスト低下により、低コストのリソースを利用してイノベーションを起こすスタートアップ企業の急増が刺激されるでしょう。
昨年、AI コンピューティング能力の供給が逼迫したため、H100 のレンタル価格は 1 時間あたり 8 米ドルという高値でしたが、現在は市場でコンピューティング能力が供給過剰となり、価格は米国のレンタル価格を下回りました。 1時間あたり2ドル。これは、一部の企業が初期段階でコンピューティングパワーのリース契約を締結し、余剰のコンピューティングパワーが無駄になるのを防ぐために、予約したコンピューティングリソースを再販し始めたため、市場のほとんどがオープンソースモデルの使用を選択し、その結果、需要が減少したためです。新しいモデルの場合。現在、市場の H100 の供給は需要をはるかに上回っているため、H100 を購入するよりもレンタルした方がコスト効率が高く、新しい H100 に投資することはもはや利益ではありません。
AI コンテストの簡単な歴史
GPU コンピューティング電力市場の価格は高騰しており、H100 の当初のレンタル価格は 1 時間あたり約 4.70 ドルでしたが、最大で 8 ドル以上に上昇しました。これは、プロジェクト創設者が次の資金調達ラウンドを達成し、投資家を説得するために、AI モデルをトレーニングする時間を確保する必要があるためです。
ChatGPT は 2022 年 11 月に発売され、A100 シリーズの GPU を使用します。 2023 年 3 月までに、NVIDIA は新しい H100 シリーズ GPU を発売しました。そのプロモーションでは、H100 のパフォーマンスは A100 の 3 倍であると述べられていましたが、価格は A100 の 2 倍にすぎませんでした。
これは AI スタートアップにとって大きな魅力です。 GPU のパフォーマンスが、開発できる AI モデルの速度と規模を直接決定するためです。 H100 の強力なパフォーマンスは、これらの企業が以前よりも高速、大規模、効率的な AI モデルを開発できることを意味し、潜在的に OpenAI などの業界リーダーに追いついたり、超えたりする可能性もあります。もちろん、これはすべて、多数の H100 を購入またはレンタルするのに十分な資本があることを前提としています。
H100 のパフォーマンスの大幅な向上と AI 分野での熾烈な競争により、多くのスタートアップ企業が H100 を入手し、それを使用してモデルのトレーニングを高速化するために巨額の資金を投資してきました。この需要の急増により、H100 のレンタル価格が高騰し、当初は 1 時間あたり 4.70 ドルでしたが、後には 8 ドル以上になりました。
これらのスタートアップ企業が高い賃料を支払うのは、次の資金調達ラウンドで投資家の注目を集め、ビジネスを拡大し続けるための数億ドルを確保できるようにモデルを迅速にトレーニングしたいと考えているためです。
多数の H100 GPU を備えたコンピューティング センター (ファーム) にとって、レンタル GPU の需要は非常に高く、これは「お金がすぐにやってくる」ようなものです。その理由は、これらの AI スタートアップ企業がモデルをトレーニングするために H100 をレンタルすることに熱心であり、レンタル料を前払いする用意さえあるためです。これは、GPU ファームが 1 時間あたり 4.70 ドル (またはそれ以上) で GPU を長期的にレンタルできることを意味します。
計算によると、この価格で GPU をレンタルし続けることができれば、H100 への投資の回収期間 (購入コストを回収する期間) は 1.5 年未満になります。投資回収期間後、各 GPU は年間 100,000 ドルを超える純キャッシュ フローを生み出すことができます。
H100 やその他の高性能 GPU の需要が高まり続ける中、GPU ファームの投資家は莫大な利益率を見込んでおり、このビジネス モデルに同意するだけでなく、より多くの利益を得るためにより多くの GPU を購入するために大規模な投資さえ行っています。
チューリップの愚かさ: 有史以来最初の投機バブルの余波で書かれたチューリップの価格は 1634 年に上昇し続け、1637 年 2 月に崩壊しました。
人工知能とビッグデータ処理のニーズの増大に伴い、企業の高性能 GPU (特に NVIDIA の H100) に対する需要が急増しており、これらのコンピューティング集約型タスクをサポートするために、世界的な企業は当初、ハードウェアとインフラストラクチャに約 6,000 億を投資してきました。 . 米ドルは、GPU の購入、データ センターの建設などに使用され、コンピューティング能力を強化します。しかし、サプライチェーンの遅れにより、購入者が多額の前払い金を支払わない限り、H100の価格は2023年の大半は高止まりし、1時間あたり4.70ドルを超えることもあるだろう。 2024 年初頭までに、より多くのベンダーが市場に参入するにつれて、H100 のレンタル価格は約 2.85 ドルに下がりましたが、市場での供給の増加に伴う競争の激化を反映して、さまざまな宣伝メールを受け取るようになりました。
H100 GPU のレンタル価格は当初、1 時間あたり 8 ドルから 16 ドルの範囲でしたが、2024 年 8 月までに、オークション形式のレンタル価格は 1 時間あたり 1 ドルから 2 ドルに下がりました。市場価格は年間 40% 以上下落すると予想されており、4 年以内に 1 時間あたり 4 ドルを維持するという NVIDIA の予測をはるかに上回ります。この急激な価格下落は、高価な新しい GPU を購入するだけの人にとっては、リースではコストを回収できない可能性があるため、財務上のリスクを引き起こします。
H100 に 50,000 ドルを投資した場合の資本利益率はいくらですか?
H100 の購入費用は電力と冷却コストを考慮しないと約 50,000 ドルで、予想寿命は 5 年です。レンタルには通常、短期オンデマンド レンタルと長期予約の 2 つのモデルがあります。短期レンタルは高価ですが柔軟性が高く、長期予約は安価ですが安定しています。次に、この記事ではこれら 2 つのモデルの利点を分析し、投資家が 5 年以内にコストを回収して利益を上げることができるかどうかを計算します。
短期オンデマンドレンタル
レンタル価格とそれに伴う収入:
>2.85ドル: 株式市場のIRRを上回り、収益性を達成します。
<2.85 ドル: リターンは株式市場への投資によるリターンよりも低くなります。
<1.65 ドル: 推定投資損失。
「混合価格」モデルでは、今後 5 年間で家賃が現在の価格の 50% に低下する可能性があると予測しています。レンタル料金が 1 時間あたり 4.50 ドルにとどまる場合、投資収益率 (IRR) は 20% を超え、収益性が高くなります。しかし、価格が 1 時間あたり 2.85 ドルに低下すると、IRR は 10% にすぎず、収益は大幅に減少します。価格が 2.85 ドルを下回ると、投資収益は株式市場の収益よりも低くなる可能性があり、価格が 1.65 ドルを下回ると、投資家、特に最近 H100 サーバーを購入した投資家は深刻な損失のリスクに直面することになります。
注：「混合価格」は、H100 のレンタル価格が今後 5 年間で現在の価格の半額まで段階的に下落するとの仮定です。現在の市場価格は毎年 40% 以上下落しており、価格下落を考慮するのが合理的であるため、この見積もりは楽観的であると考えられます。
長期予約リース (3 年以上)
AI ブームの間、過去の経験に基づいて確立されたインフラストラクチャ プロバイダーの多くは、特に仮想通貨の初期イーサリアム PoW 時代に、GPU レンタル価格の急激な上昇と下落のサイクルを経験したため、2023 年には 3 ～ 5 年ぶりの高水準の GPU レンタル価格を開始しました。価格 リース契約を前払いして利益を確保する。こうした契約では、クライアントに 1 時間あたり 4 ドル以上の支払いを要求することが多く、場合によっては家賃の 50% ～ 100% を前払いすることさえあります。 AI の需要が特に画像生成の分野で急増する中、ベーシック モデル企業は市場機会を掴み、最新の GPU クラスターを最初に使用しようとしていますが、これらの契約は高価ですが、迅速に完了するには契約に署名する必要があります。ターゲットモデルを開発し、競争力を向上させます。ただし、モデルのトレーニングが完了すると、これらの企業はこれらの GPU リソースを必要としなくなりますが、契約のロックインにより簡単に撤退することはできず、損失を減らすために、これらのリースされた GPU リソースを再販してコストの一部を回収することを選択します。 。その結果、市場で大量の GPU リソースが再販され、供給が増加し、市場のレンタル価格と需給関係に影響を及ぼしました。
現在の H100 バリュー チェーン
注：バリューチェーンは、バリューチェーン分析、バリューチェーンモデルなどとも呼ばれます。マイケル・ポーターが1985年に著書「競争優位性」で提唱したものです。ポーター氏は、企業は独自の競争上の優位性を開発し、自社の製品やサービスにより高い付加価値を生み出す必要があり、企業のビジネスモデルを一連の付加価値プロセスに構造化することが重要であり、この一連の付加価値プロセスが「バリューチェーン」。
ハードウェアから AI 推論モデルまでの H100 バリュー チェーン、関与する部分は次のカテゴリに大別できます。
- Nvidia と提携しているハードウェア ベンダー
- データセンターインフラストラクチャプロバイダーとパートナー
- ベンチャー キャピタル ファンド、大企業、スタートアップ: 基本モデルの構築を計画している (またはすでにモデルの構築を完了している)
- 容量リセラー: Runpod、SFCompute、Togetter.ai、Vast.ai、GPUlist.ai など。
現在の H100 バリュー チェーンには、ハードウェア サプライヤーからデータ センター プロバイダー、AI モデル開発会社、容量再販業者、AI 推論サービス プロバイダーまでの複数のリンクが含まれています。市場への主な圧力は、未使用の H100 容量再販業者が常に遊休リソースを再販またはリースしていることと、「十分に優れた」オープンソース モデル (Llama 3 など) の普及により生じており、結果として H100 の需要が減少しています。これら 2 つの要因が合わさって H100 の供給過剰につながり、市場価格に下落圧力がかかります。
市場動向: オープンソースの重み付けモデルの台頭
オープンソースの重みモデルとは、正式なオープンソース ライセンスはありませんが、重みが無料で公的に配布され、商業分野で広く使用されているモデルを指します。
これらのモデルの使用に対する需要は主に 2 つの主要な要因によって推進されています。1 つは GPT-4 に似た大規模なオープン ソース モデル (LLaMA3 や DeepSeek-v2 など) の出現であり、もう 1 つは小規模 (80 億)パラメータ）および中規模（700 億パラメータ）の微調整 モデルの成熟度と広範な採用。
これらのオープンソース モデルは成熟度が高まっているため、企業はそれらを簡単に入手して使用し、特に推論と微調整において、ほとんどの AI アプリケーションのニーズを満たすことができます。これらのモデルは、一部のベンチマークでは独自のモデルよりもパフォーマンスが若干劣る場合がありますが、ほとんどの商用ユースケースを処理するには十分なパフォーマンスを備えています。したがって、オープンソースの重みモデルの人気に伴い、推論と微調整に対する市場の需要が急速に高まっています。
オープンソースの重みモデルには、次の 3 つの重要な利点もあります。
まず、オープンソース モデルは柔軟性が高く、ユーザーが特定の分野やタスクに応じてモデルを微調整できるため、さまざまなアプリケーション シナリオにうまく適応できます。第二に、オープンソース モデルは信頼性を提供します。これは、一部の独自モデルのようにモデルの重みが予告なく更新されないため、更新によって引き起こされる開発上の問題が回避され、モデルに対するユーザーの信頼が高まります。最後に、セキュリティとプライバシーも確保され、企業はプロンプトと顧客データがサードパーティの API エンドポイントを通じて漏洩しないことを保証できるため、データ プライバシーのリスクが軽減されます。これらの利点が、特に推論と微調整において、オープンソース モデルの継続的な成長と広範な採用を推進しています。
中小規模の模型製作者の需要の変化
中小規模のモデル作成者とは、大規模な基本モデル (70B パラメーター モデルなど) を最初からトレーニングする能力や計画がない企業や新興企業を指します。オープンソース モデルの台頭により、多くの企業は、新しいモデルを最初からトレーニングするよりも、既存のオープンソース モデルを微調整する方がコスト効率が高いことに気づきました。その結果、モデルを自社でトレーニングするのではなく、モデルを微調整することを選択する企業が増えています。これにより、H100 などのコンピューティング リソースの必要性が大幅に軽減されます。
微調整は、最初からトレーニングするよりもはるかに安価です。既存のモデルを微調整する場合、必要な計算リソースは、基本モデルを最初からトレーニングするよりもはるかに少なくなります。大規模な基本モデルのトレーニングには通常 16 個以上の H100 ノードが必要ですが、微調整には通常 1 ～ 4 個のノードのみが必要です。この業界の変化により、中小企業の大規模クラスターの必要性が減り、H100 のコンピューティング能力への依存が直接軽減されます。
さらに、基本モデルの作成への投資も削減されます。 2023 年には、多くの中小企業が新しいベース モデルを作成しようとしますが、今日では、イノベーション (より良いアーキテクチャや数百の言語のサポートなど) をもたらすことができない限り、新しいベース モデルはほとんど存在しないでしょう。プロジェクトを作成します。これは、市場には Llama 3 などの十分強力なオープンソース モデルがすでに存在しており、小規模企業が新しいモデルを作成することを正当化することが困難になっているためです。投資家の関心と資金調達も、モデルをゼロからトレーニングするのではなく、微調整することに移行し、H100 リソースの必要性がさらに減少しました。
最後に、予約ノードの過剰容量も問題です。多くの企業は、2023 年のピーク期に H100 リソースを長期予約していましたが、微調整への移行により、これらの予約ノードは不要になり、一部のハードウェアは到着時に旧式になっていたことがわかりました。これらの未使用の H100 ノードは現在再販またはリースされており、市場での供給がさらに増加し、H100 リソースの供給過剰につながっています。
全体として、モデルの微調整の人気、中小規模の基本モデルの作成の減少、予約ノードの過剰により、H100 市場の需要は大幅に減少し、供給過剰の状況が激化しています。
GPU コンピューティング能力の供給増加と需要減少につながるその他の要因
大規模モデル作成者がオープンソースのクラウド プラットフォームから脱却
Facebook、X.AI、OpenAI などの大規模 AI モデル作成者が、パブリック クラウド プラットフォームから自社構築のプライベート コンピューティング クラスターに徐々に移行しているのはこのためです。まず、既存のパブリック クラウド リソース (1,000 ノードのクラスターなど) では、大規模なモデルをトレーニングするニーズを満たすことができなくなります。第 2 に、財務的な観点から見ると、データセンターやサーバーなどの資産を購入すると企業の評価を高めることができるのに対し、パブリック クラウドのリースは経費にすぎず、資産を増やすことができないため、独自のクラスターを構築する方が有益です。さらに、これらの企業は、これらのシステムの構築と管理を支援するために小規模なデータセンター会社を買収するのに十分なリソースと専門チームを持っています。したがって、パブリック クラウドに依存しなくなります。これらの企業がパブリック クラウド プラットフォームから移行するにつれて、コンピューティング リソースに対する市場の需要が減少し、未使用のリソースが市場に再参入し、供給が増加する可能性があります。
Vast.ai は本質的に、世界中のサプライヤーが互いに競争する自由市場システムです。
アイドル状態と遅延した H100 が同時にオンラインになります
アイドル状態で遅れていた H100 GPU が同時にオンラインになったため、市場の供給が増加し、価格が下落しました。 Vast.ai のようなプラットフォームは、世界中のサプライヤーが価格で互いに競争する自由市場モデルで運営されています。 2023 年には、H100 の出荷が遅れたため、多くのリソースがオンラインに間に合わなくなり、現在、これらの遅れた H100 リソースが、新しい H200 および B200 デバイス、およびスタートアップや企業向けのアイドル状態のコンピューティング リソースとともに市場に投入され始めています。中小規模のクラスターの所有者は通常 8 ～ 64 個のノードを所有していますが、使用率が低く資金が枯渇しているため、リソースを低価格でリースすることでできるだけ早くコストを回収することが目標です。この目的を達成するために、企業は固定金利、オークション システム、または自由市場価格設定、特にオークションおよび自由市場モデルを通じて顧客を獲得することを選択します。これにより、サプライヤーはリソースを確実にレンタルできるように価格を下げるために競争することになり、最終的には大幅なコストダウンにつながります。市場全体の価格下落。
より安価な GPU の代替品
もう 1 つの大きな要因は、コンピューティング能力のコストが予算を超えると、特に小規模なモデルを実行している場合には、AI 推論インフラストラクチャの代替手段が数多く存在することです。 H100 で Infiniband を使用するために追加料金を支払う必要はありません。
Nvidia 市場セグメンテーション
AI 推論タスク用の H100 GPU のより安価な代替品の出現は、H100 に対する市場の需要に直接影響を与えるでしょう。まず、H100 は AI モデルのトレーニングと微調整に優れていますが、推論 (つまり、モデルの実行) の分野では、多くの安価な GPU が、特に小規模なモデルのニーズを満たすことができます。推論タスクには H100 のハイエンド機能 (Infiniband ネットワーキングなど) が必要ないため、ユーザーはより経済的な代替手段を選択し、コストを節約できます。
Nvidia 自体は、H100 の約 3 分の 1 のパフォーマンスを持ちながら価格はわずか 5 分の 1 である推論専用の GPU である L40S など、推論市場に代替品を提供しています。 L40S は、マルチノード トレーニングでは H100 ほど効果的ではありませんが、単一ノードの推論や小規模クラスターの微調整には十分強力であり、よりコスト効率の高い選択肢をユーザーに提供します。
H100 Infiniband クラスタのパフォーマンス構成表 (2024 年 8 月)
AMD と Intel の代替サプライヤー
さらに、AMD と Intel も、AMD の MX300 や Intel の Gaudi 3 など、低価格の GPU を発売しています。これらの GPU は推論や単一ノード タスクで優れたパフォーマンスを発揮し、H100 よりも安価で、より多くのメモリとコンピューティング能力を備えています。大規模なマルチノード クラスターのトレーニングではまだ完全に検証されていませんが、推論タスクでは十分に成熟しており、H100 の強力な代替手段となります。
これらの安価な GPU は、ほとんどの推論タスク、特に LLaMA 3 などの一般的なモデル アーキテクチャでの推論および微調整タスクを処理できることが証明されています。したがって、ユーザーは互換性の問題を解決した後、これらの代替 GPU を選択してコストを削減できます。要約すると、推論ドメインにおけるこれらの代替手段は、特に小規模な推論や微調整タスクにおいて、徐々に H100 に取って代わりつつあり、H100 の必要性はさらに減少しています。
Web3 ドメインでの GPU 使用量の減少
仮想通貨市場の変化により、仮想通貨マイニングにおける GPU の使用量が減少し、大量の GPU がクラウド市場に流入しました。これらの GPU は、ハードウェアの制限により複雑な AI トレーニング タスクは実行できませんが、より小規模なモデル (10B パラメーター未満など) を扱う場合、特に予算が限られているユーザーにとって、単純な AI 推論ジョブでは良好にパフォーマンスを発揮します。効果的な選択肢。最適化されたこれらの GPU は、H100 ノードを使用するよりも低コストで大規模なモデルを実行することもできます。
AIコンピューティング電力レンタルバブルを経て、現在の市場はどうなっているのでしょうか？
現在参入が直面している問題: 新しいパブリック クラウド H100 クラスターは市場への参入が遅れたため、収益が上がらない可能性があり、一部の投資家は多額の損失を被る可能性があります。
新たに市場に参入する H100 パブリック クラウド クラスターが直面する収益性の課題。リース価格が低すぎる（2.25 米ドル未満）と、運営コストをカバーできず損失が発生する可能性があります。設定が高すぎる（3 米ドル以上）と、顧客を失い、空き容量が発生する可能性があります。さらに、後から市場に参入したクラスターは初期の高値（1時間あたり4ドル）を逃したためコストの回収が困難となり、投資家は利益を得られなくなるリスクに直面した。このため、クラスター投資は非常に困難になり、投資家に重大な損失をもたらす可能性さえあります。
早期参入企業の収益状況：早期に長期リース契約を締結した中・大規模モデルクリエイターはコストを回収し黒字化を達成
中規模および大規模のモデル作成者は、H100 コンピューティング リソースの長期リースからすでに価値を享受しており、そのコストは資金調達時にカバーされます。一部のコンピューティング リソースは十分に活用されていませんが、これらの企業は現在および将来のモデル トレーニングのための資金調達市場を通じてこれらのクラスターから価値を引き出しています。未利用の資源がある場合でも、再販やリースを通じて追加収入を得ることができ、市場価格が下がり、マイナスの影響が軽減され、全体としてエコシステムにプラスの影響を及ぼします。
バブル崩壊後: 手頃な価格の H100 がオープンソース AI 導入の波を加速する可能性がある
低価格の H100 GPU の登場により、オープンソース AI の開発が促進されます。 H100 の価格が下がると、AI 開発者や愛好家がオープンソースの重み付けモデルを実行して微調整するのがより手頃になり、これらのモデルがより広く採用されるようになります。将来的にクローズドソースモデル（GPT5++など）が大きな技術的ブレークスルーを達成しない場合、オープンソースモデルとクローズドソースモデルの間のギャップは縮小し、AIアプリケーションの開発が促進されるでしょう。 AI の推論と微調整のコストが低下すると、AI アプリケーションの新たな波が起こり、市場全体の進歩が加速する可能性があります。
結論: 新品の H100 は買わないでください
今新しい H100 GPU に投資すると、おそらく損失を被ることになります。ただし、プロジェクトが H100 を割引価格で購入できる場合、電気料金が安い場合、または AI 製品が市場で十分な競争力がある場合など、特別な状況下でのみ投資が合理的となる場合があります。投資を検討している場合は、より高い収益率を得るために、他の分野や株式市場に資金を投資することをお勧めします。
