AI x OpenCV x WebAR: Selfie Segmentationを使ってみよう

新機能イベントの「参加者への情報」欄に Markdown をご利用いただけるようになりました。詳しくはこちらをご確認ください

Sep

25
AI x OpenCV x WebAR: Selfie Segmentationを使ってみよう
目標コンテンツ実現までの手順を画面共有しながら解説！

Organizing : ARコンテンツ作成勉強会

Hashtag ：#AR_Fukuoka

Registration info	Zoom参加 (サポートあり) Free Standard (Lottery Finished) 15/10 YouTube参加 (視聴のみ) Free Standard (Lottery Finished) 44/30
参加者への情報	(参加者と発表者のみに公開されます)

Description

イベント内容

MediaPipeとはGoogleが提供する、映像や時系列データを用いた機械学習の流れを構築するためのフレームワークです。
現在多くの機能やサンプルが公開されていて、ARでも多く用いられているハンドトラッキング(手の追跡)やフェイストラッキング(顔の追跡)、物体検知なども提供されています。
これらの機能の一部はjavascriptライブラリとして公開され、アプリをインストールする事なくWebブラウザ上で動作するARを提供できる様になってきました。

そこでAR FukuokaでもAIとARの組み合わせについて勉強してみようという事で、今回人物と背景を分離する機能を提供するSelfie Segmentationに注目します。簡単なコンテンツを使いながらmediapipeや画像処理ライブラリのOpenCVの使い方を勉強してみましょう！

今回作るコンテンツのイメージ(クリックで動画再生)

対象者

・ARに興味のある人。(初心者OK！)
・AIも触ってみたい人
・OpenCVも触ってみたい人
・MediaPipeのサンプルを動かしたことがあるけど、その先でつまっている人
※今回はプログラミング要素が大きいのでjavascriptの基礎の基礎を知っているとベター(必須ではありません)

事前準備

・PCのブラウザで下記のサンプルが上記の動画の前半と同様に動くことをご確認ください
https://selfie-segmentation.glitch.me
または
https://selfie-segmentation2.glitch.me

・勉強会ではGlitchを使用します。必ずアカウントを作成しておいてください。
https://glitch.com/