大量のデータを必要とするAIを効率よく運用するには

　データが新しい石油だとすれば、大量のデータを必要とするAIは「データという『ガソリンをどか食いする存在』だ」と調査会社Constellation Researchの主席アナリストAndy Thurai氏は言う。しかしデータの大量消費は、その過程で品質が損なわれるリスクがあり、AIの信頼性に問題が生じる。

　このような問題を修正するには、データのキュレーションと品質保証が必要であり、業務上の問題に集中すべき人々の時間を、大量に浪費することになる。Thurai氏は「ほとんどのデータサイエンティストが、実際のモデルの作成とテストよりも、データのキュレーションや整理に時間を費やしている」と語った。

　それでもAIエンジンを動かすには、膨大なデータが必要となる。Thurai氏によれば、課題は「AIおよび機械学習（ML）に欠落のあるデータを入力した場合、その企業の限定的なビューしか得られない」ことだとし、「企業が生み出すデータは十分以上だが、そのデータは業務ユニット、分野、プラットフォームに加え、クラウドなのかプライベートデータセンターなのかといった実装間で細かく断片化されている」と説明した。

　問題は組織が大急ぎでAIに突進していることだ。IT最適化サービスを手がけるSHI Internationalで、リード・テクニカル・ソリューション・エンジニアを務めるMichael Heath氏は「多くの企業が根底にあるデータ品質問題に対処するなどの努力をせず、最も目に付く既存の問題にテクノロジーを投入すべく、躍起になりすぎている」と語る。「これには正確で一貫性のある完全なデータが求められる。堅牢なデータガバナンスとデータ管理の実践がなければ、組織はエラーを増幅させ、信頼できないインサイトを生むリスクがある」という。

　データガバナンスにおいては、適切なデータが適切な人やアプリケーションに送られ、そのデータが適時性や関連性を備え、安全かつ価値があることを保証するため、全員の協力が必要になる。

　長年にわたってデータ品質は最優先事項となってきたが、AIやトレーニングモデルに不可欠なデータを特定することも課題となっている。マスターデータ管理ソリューションのStibo Systemsで、最高製品責任者（CPO）を務めるNeda Nia氏はこの「本質的なデータ」について、「適切に管理され、機械学習モデルのトレーニングに最適な結果をもたらすものを真に示すデータ」と定義した。

　品質は重要であり、データとAIの両方のレベルで協調的なガバナンスが求められる。これにより「生成AI時代のデータ管理と配信を再形成する変革の力」が生まれると、データカタログ製品を手がけるAlationの最高技術責任者（CTO）Junaid Saiyed氏は語り、「生成AIにおけるデータの処理ペース、膨大なスケール、入り組んだ複雑さには、強固なAIガバナンスフレームワークが必要だ。効果的なAIガバナンスを通じて、組織はガベージイン・ガベージアウトのジレンマを克服できる」と説明する。

　もちろん高品質のデータがどこからともなく湧いてくるわけではない。Nia氏によれば「高品質のデータを維持する上で主要な課題は、要件の予測不能な性質にある。『AIに適したデータとは何か』『将来どのモデルがそのデータを必要とするのか』『モデルでの最適な処理のためにどれほど前のデータを保持すべきか』といった問題だ」という。

この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。