3月10・11・12日の3日間、完全オンラインで開催された一般社団法人情報処理学会の第25回シンポジウム「インタラクション2021」のレポート第3弾です。KoKaが注目した研究を選んで、3回に分けて紹介していきます。
3D映像における字幕の見せ方の研究
「アイトラッキングを用いた立体映像視聴時の字幕提示方法の検討」神戸大学
ヘッドマウントディスプレイ（HMD）を装着して3D映像を見たり、バーチャル空間でゲームをしたりする機会が増えてきました。3Dコンテンツは映像が左右・上下だけでなく奥行き方向にも移動するので、字幕をどのように提示するのが適切かという点が課題です。
これまで、3Dコンテンツの字幕は画面下方に固定して表示されていました。しかし、映像に奥行き方向の情報があるため、見えにくかったり臨場感を阻害したりという欠点が指摘されていました。
そこで、研究グループは、次の5種類の字幕について最適なものを考察しました。
A 画面下部に固定
B 奥行き方向に移動
C 縦横方向に移動
D 最前面に配置し縦横方向に移動
E 縦横と奥行き方向に移動
被験者は、HMDと視線方向を検出するアイトラッカーを装着。アイトラッカーで検知した視線の位置を、3D映像上に緑色のマーカーで示すようにしました。3D映像の中でオブジェクトが動くのに合わせて、視線（マーカー）が移動し、その部分にテキストが表示されます。
被験者にどのパターンがいちばん見やすいかを調査したところ、眼精疲労はBとDのように、奥行き方向あるいは縦横方向の場合に一番少なくなり、可視性・可読性（見やすさと読みやすさ）は、Eの縦横奥行き方向のすべての方向に移動させたときに最も高かったそうです。
読みやすさは、視線方向に一致している方が勝っているのでしょう。しかし、目が疲れては困るので、両者のバランスをとって最適の字幕位置を決めていく必要があるということではないでしょうか。素早い情報表示が必要なゲームでは、やはり視線と一致した字幕表示の方が向いているかもしれませんね。
ボールに6台のカメラをとりつけて全球映像を得る
「5Gを利用したボールカメラ映像のライブストリーミングに関する研究」東京工業大学、楽天技術研究所
映像の世界がどんどん進化しています。全天全周を撮影できるカメラも低価格で入手できるようになり、ワイヤレスで映像を飛ばしインターネットで中継するというのも普通のことになりつつあります。
研究チームは、サッカーボールより少し大きなアクリル製のボールに6台のカメラをとりつけ、動いているボールからの映像をライブストリーミングするシステムを実装。実用性の検証を行いました。
このシステムは、ボールの表面に6台の5G対応スマートフォンをとりつけたもので、全周を撮影した映像をサーバーPCに送り、全天球映像を生成します。5Gの回線を使って映像を送ることもできるのですが、今回はWI-Fiを使用して伝送したそうです。スマートフォン側で30FPS(フレーム毎秒)で撮影した映像を640×360の解像度に変換してサーバーPCに送り、サーバーで1280×640の全球映像を生成します。
実験の結果、4～10FPS程度であればレイテンシ（遅延）が0.2～0.3秒くらいとなり、ライブストリーミングができることが確認されました。遅延の少ない5Gの回線を使い、サーバーの処理速度をもう少し上げれば、どこからでもボールカメラの全球映像をリアルタイムでライブストリーミングできるようになるでしょう。
なお、実験映像には黒い枠が映っていますが、これはスマホのレンズの死角の部分で、今後は広角レンズを使って視野の拡張を考えているそうです。スポーツ中継でボールに全球カメラを仕掛けてライブストリーミングをすれば、これまでなかったような斬新な映像が撮れるのではないでしょうか。
ビデオ通話で感情をグラフィックスにより伝える技術
「抽象的なグラフィックスを用いた感情可視化手法の提案と分析」龍谷大学
ビデオ会議ツールを使って、リモートで会議をしたり授業を受けたりする機会が増えてきました。少人数で行うものなら相手の顔を見てコミュニケーションできますが、大人数の会議や授業になると他人の表情を見ることができません。相手の表情のフィードバックが得られないと、相手の感情を推察できないため、コミュニケーションが十分にとれないということになります。
そこで研究チームは、顔の表示から感情を推察し、シンプルなアイコンの変化で感情を表すExPressionという手法を開発しました。
顔の表情から感情を読み取り、連続値として表現されるモデルを使っています。この感情の変化を表したデータが、星型のグラフィックスとして連続的にリアルタイムで表示されます。グラフィックスは、色や形と脈動するようなアニメーションの速さが、感情に対応して変化するものです。
他のユーザはこのグラフィックスの変化から相手の感情を推測することができるので、顔が見えなくてもコミュニケーションが深まるというわけです。
感情の連続データは文字列としてサーバーに送信されるようになっていて、帯域を圧迫することはありません。また図に示しているように複数の人の感情の変化も、一つのグラフィックスに多重して表示されますから、全体の気分の変化、いわば「空気」を読むことができるようになります。
この研究のテーマは、感情を抽象的なグラフィックスに変換する際に、どの程度までの表現が可能なのか、また受け取る側はグラフィックスを介して、どれだけ相手の感情を認知できるのかという2点です。デモでは、感情を表すグラフィックスは波打つアニメーションで表示されていますが、感情変化のデータをCGのアバターに変換することもできるでしょう。いろいろ楽しい試みができそうです。
小中高生向け企画も開催！
インタラクション2021で発表される内容には、小中高生にとっても興味深い研究がたくさんあります。そこで、今回発表される最新の研究の一部をピックアップしてYouTubeでライブ中継しました。さらに、東京工業大学の長谷川先生の研究室が開発した「Binaural Meet」というツールを使って、研究者と直接お話ができる質問タイムも設けられました。
YouTube動画は、以下で視聴することができます。もし気になる研究があったら、研究者に質問や意見・感想を送ることができます。コチラのページに投稿フォームがありますので、ぜひ送ってみましょう（2021年3月31日まで）。発表者のためになるよい感想や意見は、あとで表彰されるそうです！
文
