AI技術でコミュニケーションの壁をなくす。ゲームで学ぶ手話学習アプリ開発への挑戦

No.045

人間科学部
社会福祉学科4年

市川海那さん

※所属・内容は取材当時（2026年５月）のものです。

AI技術で手話を身近に。コミュニケーションの第一歩をサポートする挑戦

私は、パソコンのカメラを使って手話の動きをリアルタイムで判定する、「ゲーム型手話学習アプリ」の開発に取り組んでいます。AI作成ツールの一つである「Teachablemachine」を活用し、利用者が示した指文字が正しいかを即座にフィードバックする仕組みを開発しています。現在は指文字の「あ行」から「さ行」までの判定機能を実装しており、人気タイピングゲーム「寿司打」のように、楽しみながら学べるよう、獲得スコアによるランキング形式を取り入れています。また、初心者の方でも安心して始められるよう、ゲーム開始前に写真と文章で指文字の形を一つひとつ確認できる学習パートも用意しました。間違えてしまった問題はゲーム終了後に復習できる「反復学習」の機能も搭載し、着実に学べる工夫を凝らしています。

私は、技術を通じて、これまでハードルが高いと感じられていた手話という言語をより身近なものに変え、誰もが自然にコミュニケーションの第一歩を踏み出せる社会を目指しています。

原点はアルバイト先での出会い。「心の通った接客がしたい」という想い

この活動の原点は、アルバイト先の飲食店で出会った、耳の不自由な常連のお客様です。その方は、補聴器などを身に着けていなかったため、私は最初耳が不自由な方だと気づけませんでした。当時のお店では、後々のトラブルを防ぐため説明すべきことが多く、どうすれば正確に情報をお伝えできるか試行錯誤する中で、絵を描くなどして対応しました。この経験を通じて、手話が使えたらもっと心の通った接客ができるのではと思うようになり、独学で手話を学び始めて1ヶ月ほどで手話技能検定の資格を取得しました。

しかし、実際に独学を始めてみると、すぐに「学習の壁」に直面しました。本や動画だけでは、自分の指の形が本当に正しいのかわからず、特に手の形は同じなのに向きだけ異なる「う」と「と」のように、わずかな違いを一人で習得することに苦労しました。この「学びたいけれど、独学では難しい」という経験から、この壁はきっと私だけの問題ではなく手話に興味を持った多くの人が同じように感じ、学習を諦めてしまう原因になっているのではないかと考えました。そして、そうした手話学習に対する壁が、聴者とろう者の間に見えない距離を生んでいるのではないかと感じました。また私自身、大学と自宅が離れているため手話サークルなどに参加することが難しく、一人で学ぶことの限界を痛感したからこそ、初心者が挫折せずに楽しく続けられる環境が、その距離を縮める第一歩になるのではないかと考えました。その想いを副専攻のAIエキスパートコースで出会った先生に伝えたところ、「それなら僕のところで実現できるよ」と力強く背中を押していただき、このアプリの開発を決意しました。

試行錯誤の半年間が生んだ「楽しい学び」と確かな手応え

アプリの開発には、半年もの時間を要しました。自身の専門外であったプログラミングの壁、そしてAIの精度を高めるために900枚以上の画像を撮影・学習させる地道な作業など、まさに試行錯誤の連続でした。しかし、先生や友人に支えられながらその一つひとつの課題を乗り越え、自分の動きがアプリに正しく判定された瞬間には一番の手ごたえと確かな達成感を感じました。独学では得ることが難しい「出来ている」という即時のフィードバックがアプリでは可能になり、楽しく学び続ける力になると実感しました。実際にこのアプリを6人の友人に試してもらった際「ゲームだから面白い！自分の名前を指文字で表せるようになったよ。」と言ってもらえました。また、教育学会でろう者の当事者の方から「とても素晴らしい取り組みだ」という言葉をいただいて、自分の活動の意義を再確認させてもらえたと同時に、諦めずに挑戦し続けることの大切さを深く学びました。

コミュニケーションの壁がなくなり、心と心が繫がる未来をめざして

今後の短期的な目標は、まず指文字50音すべての判定機能を完成させることです。現在の写真判定では背景などの撮影環境の影響を受けやすいという課題があるため、今後は関節の動きを読み取るAI技術「MediaPipe」を活用し、どんな環境でも正確に判定できるアプリへと進化させたいです。将来的には、指文字だけでなく、単語や日常会話の動きにも対応させ、RPGのように物語を進めながら学べる、より実践的なゲームにすることも構想しています。

このアプリを通じて、私が目指すのは、誰もが相手の立場に立って考え、自然にコミュニケーションを楽しめる社会です。手話という言語を「知る」ことは、ろう者の皆さんが大切にしているコミュニケーションの方法や文化を知る第一歩です。たとえ完璧な手話でなくても、相手の世界を理解しようと一歩踏み出すその姿勢こそが、相互の理解を深めます。このアプリが、聴者とろう者の間に存在する見えない壁を取り払い、心と心を繫ぐ温かいきっかけになることを心から願っています。

取材を終えて

今回の取材で特に印象的だったのは、市川さんが「学ぶ楽しさ」を何よりも大切にされていたことです。福祉や社会課題と聞くと、少し真面目で硬いイメージを抱きがちですが、市川さんが目指しているのはゲームという誰もが楽しめるツールで、コミュニケーションの壁を壊していくことでした。その優しいアプローチは、社会貢献の新しい形を提示してくれているように感じます。寿司打やRPGといった身近なアイデアを取り入れながら、真摯に開発に取り組む姿に、専門知識だけでなく、豊かな発想力と温かい人柄が伝わってきました。楽しみながら、自然と誰かのためになっている。そんな素敵な未来を感じさせてくれるお話でした。

取材・執筆：経済学科 4年　森まや