AI活用はPoCがメインのフェーズから、すでにシステム化・サービス化し実運用を行うフェーズに移ってきており、最近ではAIモデル開発と共にMLOpsのシステム開発をご依頼頂くことも増えて参りました。そんな中でAI運用環境におけるハードは、省電力な組込み専用CPUやAI専用チップ搭載のハードに目が行きがちですが、x86アーキテクチャのCPU等を搭載した汎用的なマシンを活用して、AI推論を行う運用環境を構築することも可能です。こういった汎用的なCPUを搭載したマシンには選択肢の広さや構成の自由度があり、専用ハードよりも優位な面が存在します。ただ、専用ハードで無い分、AI活用には色々な工夫が必要となってきます。 本発表では、こういった汎用マシンにおけるAI推論環境を構築するためのテクニックについて発表します。