このエントリーをはてなブックマークに追加

Jul

16

AI(Google Mediapipe)によるハンドトラッキングハンズオン

目標コンテンツ実現までの手順を画面共有しながら解説!

Organizing : ARコンテンツ作成勉強会

Hashtag :#AR_Fukuoka
Registration info

Description

参加登録はこちらから! https://engineercafe.connpass.com/event/252901/

内容

Google Mediapipeを使うと非常に手軽に手の認識ができます。しかし、その手がどんな状態か(開閉や角度)の認識まではこのライブラリではできません。もちろん、これらの認識もAIで実現することも可能ですが、そこまでしなくてもちょっとしたアイディアで実装することも可能です。 そこで今回はMediapipeを使った手の認識プログラムの実装手順から、そこで得られる関節の情報に対する処理の実装によって手の状態の認識を実現する方法についてご紹介します。

Google Mediapipeについて

MediaPipeとはGoogleが提供する、映像や時系列データを用いた機械学習の流れを構築するためのフレームワークです。 現在多くの機能やサンプルが公開されていて、ARでも多く用いられているハンドトラッキング(手の追跡)やフェイストラッキング(顔の追跡)、物体検知なども提供されています。 これらの機能の一部はjavascriptライブラリとして公開され、アプリをインストールする事なくWebブラウザ上で動作するARを提供できる様になってきました。

そこでAR FukuokaでもAIとARの組み合わせについて勉強してみようという事で、手をリアルタイムに検出するMediaPipe Handsに注目します。簡単なコンテンツを作りながらMediaPipeの活用方法を勉強してみましょう!

今回作るコンテンツのイメージ(クリックで動画再生)

対象者

  • ARに興味のある人。(初心者OK!)
  • AIも触ってみたい人
  • MediaPipeのサンプルを動かしたことがあるけど、その先でつまっている人

※今回はプログラミング要素が大きいのでjavascriptの基礎の基礎を知っているとベター(必須ではありません)

事前準備

・PCのブラウザで下記のサンプルが動き、手の骨格が表示されることをご確認ください

https://hand-tracking1.glitch.me

または

https://hand-tracking-m1.glitch.me (主にM1 Mac)

・勉強会ではGlitchを使用します。必ずアカウントを作成しておいてください。

https://glitch.com/

会場

  • エンジニアカフェ
  • YouTube Live

日時

2022年7月16日(土) 13:00 - 17:00

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

Tks_Yoshinaga

Tks_Yoshinaga published AI(Google Mediapipe)によるハンドトラッキングハンズオン.

07/03/2022 16:47

AI(Google Mediapipe)によるハンドトラッキングハンズオン を公開しました!

Ended

2022/07/16(Sat)

13:00
17:00

Registration Period
2022/07/03(Sun) 16:47 〜
2022/07/16(Sat) 17:00

Location

世界中どこでも

オンライン

世界中どこでも