AI x WebAR: MediaPipeのハンドトラッキングを使ってみよう

機能改善領収データ発行機能にてインボイス制度の書式での出力に対応しました。詳しくはこちらをご覧ください。

新機能参加者によるイベント出席機能をリリースしました。今までは主催者による出席管理機能はありましたが、大規模イベント等での受付処理が大変とのフィードバックをいただいてました。今後はイベント作成時に発行される「出席コード」を会場現地や配信で共有してもらうことで、参加者自身でイベント出席登録を行うことができるようになります。これにより受付処理が容易になりますので、イベント主催者の皆様はぜひご活用ください。詳しくはこちらをご確認ください。

Oct

30
AI x WebAR: MediaPipeのハンドトラッキングを使ってみよう
目標コンテンツ実現までの手順を画面共有しながら解説！

Organizing : ARコンテンツ作成勉強会

Hashtag ：#AR_Fukuoka

Registration info	Zoom参加 (サポートあり) Free Standard (Lottery Finished) 14/10 YouTube参加 (視聴のみ) Free Standard (Lottery Finished) 37/37
参加者への情報	(参加者と発表者のみに公開されます)

Description

イベント内容

MediaPipeとはGoogleが提供する、映像や時系列データを用いた機械学習の流れを構築するためのフレームワークです。
現在多くの機能やサンプルが公開されていて、ARでも多く用いられているハンドトラッキング(手の追跡)やフェイストラッキング(顔の追跡)、物体検知なども提供されています。
これらの機能の一部はjavascriptライブラリとして公開され、アプリをインストールする事なくWebブラウザ上で動作するARを提供できる様になってきました。

そこでAR FukuokaでもAIとARの組み合わせについて勉強してみようという事で、手をリアルタイムに検出するMediaPipe Handsに注目します。簡単なコンテンツを作りながらMediaPipeの活用方法を勉強してみましょう！

今回作るコンテンツのイメージ(クリックで動画再生)

対象者

・ARに興味のある人。(初心者OK！)
・AIも触ってみたい人
・MediaPipeのサンプルを動かしたことがあるけど、その先でつまっている人
※今回はプログラミング要素が大きいのでjavascriptの基礎の基礎を知っているとベター(必須ではありません)

事前準備

・PCのブラウザで下記のサンプルが動き、手の骨格が表示されることをご確認ください
https://hand-tracking1.glitch.me
または
https://hand-tracking-m1.glitch.me (主にM1 Mac)

・勉強会ではGlitchを使用します。必ずアカウントを作成しておいてください。
https://glitch.com/