Jetsonが加速するエッジAI：
SLMの有用性と実装ソフトウェア
本講演では、現場の意思決定を加速するエッジAIの必然性、SLMの有用性、そして動作基盤としてのJetsonと関連ソフトウェアを紹介します。エッジAIは低遅延・オフライン耐性・データ主権を実現し、ネットワーク品質や送信コストの制約を回避。SLMはメモリ/電力制約下でも動作し短レイテンシでリアルタイム処理できます。JetsonはGPUと豊富なI/Oで高いperf/Wと低いトークンレイテンシーを達成できます。Jetsonでの生成AI実装をサポートするソフトウェアとJetsonシリーズも紹介をします。
- 生成AI
Speaker
エヌビディア（同）
ソリューションアーキテクチャアンドエンジニアリング
シニアソリューションアーキテクト
大串 正矢
NVIDIA のシニア ソリューション アーキテクトとして、特にロボティクス、ファクトリー オートメーションの分野において、顧客への技術支援を行っています。同時に、各種講演やハンズオンなど、エバンジェリストとしても活動しています。NVIDIA に入社する前は、Sier で金融システム開発、スタートアップで、3 次元物体検出エンジンや時系列異常検知システムを開発していました。