AI向けITインフラで成長を続けている米NVIDIA（エヌビディア）は、GPUの提供に加えて、開発・運用環境などソフトウェア面でもAI活用を支援できる点を強みに、国内市場への訴求を進めている。3月に米サンノゼで開催した年次イベント「GTC 2024」では、AI活用における「推論（Inference）」フェーズの課題を解決するマイクロサービス技術の「NIM（ニム）」を開発者向けの目玉機能として発表。8月には国内でも、NIMを活用した日本語向け大規模言語モデル（LLM）が登場した。ハードとソフトの両面でエコシステムを拡充し、生成AIを本番環境に展開する企業の増加に対応する。
（大向琴音）

　AIの開発・運用の中にはモデルを構築する「学習」の処理と、モデルを利用して業務やサービスのための出力を得る「推論」の処理がある。AIの活用が進めば、推論の処理が増えるとみられる。