手話をすると、相手のチャットに文字が届く「AIで手話を認識するアプリ～JSL～」｜映像を送らず、動きの流れで読むAI
紹介した作品: AIで手話を認識するアプリ～JSL～
ProtoPedia の作品「AIで手話を認識するアプリ～JSL～」を2人のMCが初心者目線で紹介。ビデオ通話でカメラに向かって手話をすると、AI が手話を文字にして、部屋にいる全員のチャット欄に届けてくれる Web アプリです。映像ではなく手と体の『点』だけを送る設計と、手話を『動きの流れ』で読む AI の工夫、開発の一番の壁、そして作者が見ている次の一手まで。エンジニアフレンドリーシティ福岡で3つの賞を受けた作品です。
チャプター
0:00オープニング0:20手話がチャットの文字になる1:00会話の相手が限られる1:59全員のチャット欄に自動で届く2:57映像は送らない4:15手話は「動きの流れ」で意味が決まる5:47スマホならもっと身近に7:06今日できる最小の一歩7:54エンディング
文字起こし(70行)
- BANNO
- ゆっくりばんのです。
- HIGEDARUMA
- ゆっくりひげだるまです。
- BANNO
- 今日もプロトペディアから、とびきり面白い作品を紹介していきますよ。
- HIGEDARUMA
- 今日紹介するのは、AIで手話を認識するアプリ、JSL。手話を、AIが文字にしてくれるアプリなんです。
- BANNO
- 手話が文字に？どんな場面で使うんですか？
- HIGEDARUMA
- ビデオ通話の中です。カメラの前で手話をすると、相手のチャット欄に、文字で届くんですよ。
- BANNO
- プロトペディアでは、いいねが400を超えて、賞も3つ。見た人の心をつかんだ作品なんですね。
- HIGEDARUMA
- そもそも、なぜこれを作ったのか。作者が見ていた壁から、お話ししますね。
- BANNO
- はい。手話を使うのは、どんな人たちですか？
- HIGEDARUMA
- 耳が聞こえない人、聞こえにくい人の中には、手話を自分の言葉として話す人がたくさんいるんです。
- BANNO
- でも私、手話はほとんど分からないです。周りにも、分かる人は少ないかも。
- HIGEDARUMA
- そこなんです。手話が分かる人としか、なかなか話せない。会話の相手が、限られてしまうんですよ。
- BANNO
- たとえば役所の窓口で手続きしたいのに、相手が手話を分からない、みたいなことですね。
- HIGEDARUMA
- そうです。その結果、手に入る情報や、参加できる場まで減ってしまう、と作者は書いています。
- BANNO
- 話せる相手が少ないだけで、そこまで差がついちゃうんですね。
- HIGEDARUMA
- 作者の言葉を借りると、見えている世界を広げる手助けをしたい。それが出発点なんです。
- BANNO
- 実際には、どんなふうに使うんですか？
- HIGEDARUMA
- デモ動画の流れで説明しますね。まずログインして、通話の部屋を作ります。
- BANNO
- ズームみたいに、部屋を作って人を呼ぶ感じですか？
- HIGEDARUMA
- そんな感じです。部屋のアドレスを送って、相手に入ってもらう。デモでは、田中さんとレさんの2人が通話しています。
- BANNO
- そこから、手話はどうやって文字になるんですか？
- HIGEDARUMA
- 手話認識のボタンを押して、カメラの前で手話をします。すると、読み取った言葉が、部屋の全員のチャット欄に自動で届くんです。
- BANNO
- 翻訳アプリを、別に開かなくていいんですね。
- HIGEDARUMA
- そうなんです。いつもの通話の中で、会話がそのまま続いていく。ここがいいところなんですよ。
- BANNO
- 手話を知らない側は文字を読めばいいし、手話をする側は、いつも通り話せばいい。やさしい作りですね。
- BANNO
- でもカメラに映った映像を、どこかに送ってるんですよね。ちょっと怖くないですか？
- HIGEDARUMA
- いい質問です。実はこのアプリ、手話を読むために映像は送っていないんです。
- BANNO
- えっ、映像を送らずに、どうやって読むんですか？
- HIGEDARUMA
- 全体は、2人のパソコンと、真ん中のサーバーでできています。カギは、グーグルのメディアパイプという道具です。
- BANNO
- メディアパイプ？それは、何をする道具ですか？
- HIGEDARUMA
- カメラの映像から、手の関節や肩の位置を、点として見つけてくれるんです。指の付け根、指先、という具合に。
- BANNO
- 棒人間の、関節のところに点を打つ感じですね。
- HIGEDARUMA
- まさにそれです。しかもその作業を、使う人のパソコンの中でやるんです。
- BANNO
- パソコンの中で？じゃあ、サーバーには何が届くんですか？
- HIGEDARUMA
- 点の位置を表す、数字だけです。顔や部屋の様子は、サーバーに行かないんですよ。
- BANNO
- それなら、映ってほしくないものが漏れる心配が、ぐっと減りますね。安心です。
- HIGEDARUMA
- 作者も、ここを大事なポイントに挙げています。通話の映像も、相手と直接やり取りする仕組みを使っているんです。
- BANNO
- 点が分かったら、あとは手の形を見分ければいいんですよね？写真を見るみたいに。
- HIGEDARUMA
- それが、手話はそう簡単じゃないんです。いくつもの動きをつなげて、意味を表すんですよ。
- BANNO
- 一瞬の形だけ見ても、分からないってことですか？
- HIGEDARUMA
- そうなんです。だから、点の動きを20コマ分ためてから、ひと続きの動きとして、AIに渡しているんです。
- BANNO
- パラパラ漫画を20枚めくって、何をしたか当てる感じですね。
- HIGEDARUMA
- いいたとえです。使ったAIは、エルエスティーエムといって、前のことを覚えておきながら、次を読むのが得意なんです。
- BANNO
- 前を覚えながら読む。文章を読むのと、似てますね。
- HIGEDARUMA
- そうそう。もともと文章のように、順番が大事なデータで使われてきたAIなんですよ。
- BANNO
- 作るうえで、一番大変だったのはどこなんでしょう？
- HIGEDARUMA
- まさにこのAI探しです。一連の動きを読めるAIを見つけるのが、一番難しかったと書いています。
- BANNO
- 見つけたあとは、すんなりいったんですか？
- HIGEDARUMA
- いえ、入れるデータの形が複雑で。データ集めと学習に、たくさんの時間をかけて乗り越えたそうです。
- BANNO
- 手話をひとつずつ、カメラの前でやって、覚えさせるわけですもんね。根気がいりますね。
- HIGEDARUMA
- でも、その根気のおかげで、手話の流れを読めるところまで来た。エンジニアとして、ここがいちばん胸が熱くなるところなんです。
- BANNO
- 見た人の反応は、どうだったんですか？
- HIGEDARUMA
- 熱いんです。コメント欄には、スマホで使えたら利用者が増えそう、という声があって。
- BANNO
- それに、作者は何て返したんですか？
- HIGEDARUMA
- スマホならもっと身近な体験になりそうですね、参考にさせていただきます、と。
- BANNO
- 声をちゃんと受け止めてるのが、いいですね。
- HIGEDARUMA
- エンジニアフレンドリーシティ福岡のアワードでは、プロダクト開発部門の賞と、企業の賞を2つ受けています。
- BANNO
- 賞を3つも。でも、これでもう完成、なんでしょうか？
- HIGEDARUMA
- 作者自身は、機能として完成ではない、と書いています。そのうえで、学び続けたことで成長できた、と。
- BANNO
- 正直で、かっこいいですね。次は、何を考えているんですか？
- HIGEDARUMA
- 手話の言葉は、とても多いんです。ひとつずつ覚えさせると、ものすごく時間がかかる。
- BANNO
- 確かに、辞書をまるごと覚えさせるようなものですもんね。
- HIGEDARUMA
- そこで、使う人がシステムに手話を教えられる機能を、考えているそうです。手話を学べる機能や、初めての人向けの使い方案内も。
- BANNO
- みんなで育てる手話の辞書。広がっていく未来が見えますね。
- HIGEDARUMA
- 作ったのは、チームJSLのお二人。仕組みのコードも、ギットハブで公開されています。
- BANNO
- では今日の一歩。メディアパイプの手の認識デモを、ブラウザで開いてみてください。リンクは画面に出しておきますね。
- HIGEDARUMA
- カメラに手をかざすと、自分の指に点が打たれて、動きについてくるんです。この作品の第一歩を、自分の手で体験できますよ。
- BANNO
- もう一歩いくなら、手話の、ありがとう、をひとつ覚えてみる。会話の壁は、こちらからも少し低くできますね。
- BANNO
- さて、今日紹介したのは、手話を文字にして、会話の輪を広げてくれる、AIで手話を認識するアプリ、JSLでした。
- HIGEDARUMA
- 次回の作品でも、ゆっくりしていってね。
クレジット
紹介した作品声
あなたの作品も、動画で紹介します
ProtoPedia の作品ページの URL を送るだけで、夜のうちに紹介動画に仕上げます。対象は CC BY 4.0 の作品です。
動画をリクエストする