メタバース領域で注目されるモーションキャプチャー解析において、工数を大幅削減する新たな手法を提案
LINE株式会社（本社：東京都新宿区、代表取締役社長：出澤 剛）は、人工知能分野における世界トップレベルの国際会議「AAAI」にて、モーションキャプチャーデータの解析を題材とした論文が採択されましたので、お知らせいたします。
「AAAI Conference on Artificial Intelligence」は、Association for the Advancement of Artificial Intelligence （AAAI）が主催する、人工知能分野における世界トップレベルの国際会議です。2023年は37回目の開催となり、今年は8,777件の投稿の中から1,721件（全体の19.6%）の論文が採択されています。採択された論文は、2023年2月7日から14日までアメリカ合衆国ワシントンD.C.で開催される「AAAI-23」にて発表を行います。
■人間の動作に着目した行動局所化により、1回のラベル付けのみで動画内の全フレームのラベル付けを完了
今回の「AAAI-23」で採択された論文は、人や物の動きがデジタルデータ化されたモーションキャプチャーデータの解析において、キャラクターの動作を生成する際の工数を大幅に削減する新たな手法を提案したことが評価され、採択されました。メタバースや仮想空間においては人間を模したアバターなどのキャラクターが重要な役割を果たしており、メタバース技術の盛り上がりに伴い、モーションキャプチャーデータの解析にも注目が集まっています。
キャラクターの動きは、人間の動きを直接計測することで取得される骨格のモーションキャプチャーデータを適用することで、あるいはアニメーターの手作業によって、キャラクターに与えられます。新たな動きを作成する際には、上記同様の工程を繰り返さなければなりませんが、この負担を軽減するため、近年では既存のモーションキャプチャーデータに機械学習を適用し、キャラクターに人間らしい新たな動きを生成する研究が多く行われています。一方でこれらの研究においては、機械学習に利用する教師データとして、動画のすべてのフレーム（アニメの「コマ」に近い概念であり、この場合は骨格データを差す）において、キャラクターがどの行動をしているかという情報を与えるラベル付けが必要となり、現状、このラベル付けは人間による手作業で行われています。
本研究では、ラベル付けの工数を削減する新たな方法として、人間の動作のみにフォーカスすることによって、モーションキャプチャー動画全体に対するラベル付けを1回実行するだけで、どのフレームがどの行動に該当するかを選定するという全く新しいアプローチを提案し、これを「骨格ベース弱教師あり時間的行動局所化」(Skeleton-based Weakly-Supervised Temporal Action Localization : S-WTAL)と命名しました。これによって、「動画内に歩く、座る、蹴るといった行動が入っている」というラベルから、動画内のそれぞれのラベルに該当するフレームを高精度に選定することができるようになりました。加えて、誤ラベル問題を扱う分野の知見を参考に、学習初期の推定結果を擬似ラベルとして活用することによって、推定結果の誤りをさらに削減しました。それらの工夫の結果、既存のモーションキャプチャーデータセットにおいて、通常の動画像を対象にした先行研究よりも、はるかに高い精度で対象フレームの抽出が可能であることを、実験により実証しました。
図1) 研究の概要
モーションキャプチャー動画と、動画全体に対してのみラベルが与えられている状態から、どの部分でどのラベルに対応する行為が行われるかを予測する問題設定を「骨格ベース弱教師あり時間的行動局所化」(Skeleton-based Weakly-Supervised Temporal Action Localization : S-WTAL)として新たに提起しました。
図2) 実験による評価：提案手法と一般動画向けの既存手法との比較
実際の行動に対応する部分（GT）と比較した際、提案手法(Ours)の反応箇所が一番近い予測結果を示しており、提案手法の優れた性能が確認されました。
採択された論文
Frame-Level Label Refinement for Skeleton-Based Weakly-Supervised Action Recognition
Qing Yu(*) and Kent Fujiwara
*東京大学大学院情報理工系研究科（弊社インターン中の成果）
【LINEが注力する基礎研究について】
LINEでは、ユーザーのプライバシー保護をはじめとした適切なデータ運用、AI関連サービスや機能の創出を支える、さまざまな技術の基礎研究を組織的に推進しています。
基礎研究においては、機械学習を軸に、音声処理、言語処理、画像処理などに注力しています。2021年には、コンピュータービジョン分野の国際学会「ICCV 2021」にて2本の論文*1、音声処理分野の国際学会「INTERSPEECH 2021」にて国内トップクラスの6本の論文*2，2022年には深層学習分野の国際学会「ICLR 2022」に論文*3が採択されるなど、着実な成果を収めております。
*1 2021年7月28日発表プレスリリース：https://linecorp.com/ja/pr/news/ja/2021/3843
*2 2021年8月30日発表プレスリリース：https://linecorp.com/ja/pr/news/ja/2021/3891
*3 2022年2月10日発表プレスリリース：https://linecorp.com/ja/pr/news/ja/2022/4112
LINEでは、今後も事業発展やサービスの品質向上のための取り組みを積極的に行い、コミュニケーションプラットフォームとしてさらなる成長・拡大の可能性を広げてまいります。