組み込み機器でも生成AIが使える 日本発のアクセラレーター
EdgeCortixは、組み込み機器向けの生成AIアクセラレーター「SAKURA-II」を展示し、高い電力効率で様々なAIモデルを実行できることが特徴。
同社は日本のスタートアップ企業で、IP、ハードウェア、ソフトウェアを提供しており、SAKURA-IIは「SAKURA-I」の後継製品。
SAKURA-IIはINT8で最大60TOPS、BF16で30TFLOPSの演算性能を持ち、消費電力はわずか8Wから10Wに抑えられており、業界最高レベルの電力効率を実現している。
組み込み機器に特化した推論技術を手掛けるEdgeCortixは「第8回 AI・人工知能 EXPO【春】」（2024年5月22～24日、東京ビッグサイト）で、エッジ（組み込み機器）向けの生成AIアクセラレーター「SAKURA-II」を展示した。ビジョンモデルから大規模言語モデル（LLM）までさまざまな種類のAI（人工知能）モデルを、高い電力効率で実行できることが最大の特徴だ。同社は、組み込み機器での生成AIの活用を加速できると意気込む。
EdgeCortixは2019年に設立された日本発のスタートアップ企業だ。IP（Intellectual Property）、ハードウェア、ソフトウェアをフルスタックで提供する。
具体的には、1）動的に再構成可能なプロセッサアーキテクチャである「DNA（Dynamic Neural Accelerator）」技術（IP）、2）同IPを搭載したハードとしてAIアクセラレーター、3）コンパイラおよびソフトウェアフレームワーク「MERA」、4）AIアクセラレーターを搭載したモジュールやボードという4つがある。2）のAIアクセラレーターとしては、2023年4月に「SAKURA-I」の出荷を発表している。今回開発したSAKURA-IIはその後継となる製品だ。
EdgeCortix グローバルセールス担当エグゼクティブバイスプレジデントのTim Vehling氏によれば、現在のエッジAIのトレンドとして推論モデルの移行が挙げられるという。「昨年（2023年）まではほとんどがCNN（畳み込みニューラルネットワーク）ベースだったが、急速にTransformerベースへと移行している。ResNetやYOLOを使った画像認識や物体検出から、生成AIを活用したいというニーズに変化している」（同氏）
こうしたトレンドに対応すべく開発したのがSAKURA-IIだ。フォームファクターはM.2とPCI Express（PCIe）カードの2種類を用意した。INT8で最大60TOPS、BF16で30TFLOPSの演算性能を実現しつつ、消費電力はわずか8W（AIアクセラレーターチップの仕様）や10W（ボードの仕様）に抑えている。Vehling氏は「業界最高レベルの電力効率を実現した」と強調する。BF16のサポートは、EdgeCortixとしては初めてになる。「エッジAIでも、より高い精度を求める声が高まってきたため、従来のINT8に加えBF16も対応した」（同氏）
