有本泰子研究室

感情の情報工学的な研究と、認知的・心理学的研究の両方を行う文理融合型研究を行います。コミュニケーション場面を研究対象とすることで、感情の表出や知覚に利用される表情や音声・生理反応を個別に分析するだけではなく、それらを統合的に分析し、システムの精度向上を図る仕組みを考えます。人間が発信する多くの情報を研究対象とするため、研究を通して、音声処理・言語処理・信号処理・画像処理・プログラミング・音響学・音声学・言語学・心理学・生理学・統計学などの多くの分野の知識を身につけることができます。

基本情報

教員名・所属 有本泰子講師 / 理工学部情報電子工学科
専門分野 音声言語情報処理、マルチモーダル対話処理、生体情報処理
研究テーマ

人間のマルチモーダルな情報から感情とコミュニケーションを計算可能にする研究

研究キーワード マルチモーダル情報処理、話し言葉、会話,自律神経系反応、感情・情動・こころ
教員紹介URL

研究紹介

感情の連続的な変化を推定するリアルタイムマルチモーダル感情認識システムの構築

オンラインコミュニケーション場面では、映像・音声・テキストなど媒介するコミュニケーションメディアの違いにより、表情や声の抑揚などの非言語情報が消失し、伝達される情報に欠落が生じています。オンライン場面でも現実世界の対面場面と同等の感情コミュニケーションを実現するためには、非言語情報を利用してオンラインコミュニケーション手段を人間的に拡張する新規な情報表現へと変換し、欠落する感情を補完する仕組みが必要です。本研究では、オンラインコミュニケーション環境下で意識的・無意識的に抑制されうる表情や音声などの情報だけでなく、抑制不可能な自律神経系反応などの情報を利用して、感情をリアルタイムに推定するマルチモーダル感情推定システムを開発します。

感情音声におけるコーパス間共通規格の確立と自動感情ラベリングの手法の構築

大規模音声コーパスを必要とする音声認識や感情認識などの人間と機械との対話の円滑化を念頭にした研究では、複数のコーパスを併用することが求められています。しかし、コーパスごとに独自基準で感情ラベリングを行っているため、感情ラベルをコーパス間で等価とみなすことができず、現状では複数コーパスの併用は不可能となっています。本研究では、現在人手により付与されている感情ラベリングを自動化することで、コーパス間で共通した感情ラベルを自動付与し、感情ラベルにおけるコーパス間共通化基盤の確立をめざします。これにより、研究の資料として利用できる音声資源が爆発的に増加し、人間と機械との対話における感情研究の発展が見込まれます。

マン−マシン間対話における双方向型マルチモーダル感情コミュニケーションのモデル化

マン―マシン間の双方向的な感情インタラクションの実現をめざし、話者を対話に没入させ、感情表出の頻度および強度を人間同士の対話に近づけるコンピュータの振る舞いを明らかにします。人間同士の双方向的な感情コミュニケーションのひとつである表出行動の模倣に着目して、話者のマルチモーダルな表出行動をコンピュータに模倣させることでマン―マシン間の双方向的な感情インタラクションを実現していきます。

論文発表・学会発表

キーワードで検索