東京科学大学 ロボット対話知能研究室（吉野研究室）

    English   トップ   研究   メンバー   連絡   アクセス  
  1. ホーム
  2. 研究

研究テーマ・成果等

研究業績

解説記事等

  • 吉野 幸一郎, 谷口 忠大, 持橋 大地, 河原塚 健人, 松嶋 達也, 品川 政太朗, 小林 一郎. "NLP2024 併設ワークショップ 「大規模言語モデルの実世界応用」." 自然言語処理, Vol. 31, No. 2, pp.809-815, June 2024.
  • 吉野 幸一郎 "主体を持ち生活空間で人と協働するAIロボット." 電子情報通信学会誌, Vol. 107, No. 5, pp.398-402, May 2024.
  • 牛久 祥孝, 進藤 裕之, 藤吉 弘亘, 山下 隆義, 馬場 雪乃, 吉野 幸一郎, 松原 誠二郎. "人と融和して知の創造・越境をするAIロボット." 電子情報通信学会誌, Vol. 107, No. 5, pp.403-410, May 2024.
  • 塩見 昌裕, 飯尾 尊優, 吉野 幸一郎, 大西 裕也. "オーガナイズド・セッション解説:「人と共生するロボットの対話知能とソーシャルタッチ" 自然言語処理, Vol. 30, No. 4, pp.1278-1284, December 2023.
  • 吉野 幸一郎 "DSTC: Dialog System Technology Challenge." 日本音響学会誌, Vol.79, No.9, pp.477-483, 2023年9月.
  • 河野 誠也, 吉野 幸一郎 "対話システム研究における強化学習の利用." 人工知能, Vol.37, No.4, pp.490-498, 2022年7月.
  • 吉野 幸一郎, 高村 大也, 永田 亮, 松崎 拓也, 須藤 克仁. "さきがけ「新しい社会システムデザインに向けた情報基盤技術の創出」研究領域における自然言語処理関連研究" 自然言語処理, Vol.29, No.2, pp.718-730, 2022年6月
  • 吉野 幸一郎 "ニューラルネットワークによる対話制御 - 統計的対話制御の基本からニューラルネットワークを用いる場合の考え方まで." 日本音響学会誌, Vol. 71, No. 8, pp.521-528, 2021年8月.
  • 吉野 幸一郎, "小特集 - 音声言語理解のこれまでとこれから - 音声発話系列からのユーザの意図の理解." 電子情報通信学会誌, vol.101, no.9, pp896-901, 2018年9月.

主要論文

  • Muhammad Baihaqi, Angel Garcia Contreras, Seiya Kawano, Koichiro Yoshino. "Rapport-Driven Virtual Agent: Rapport Building Dialogue Strategy for Improving User Experience at First Meeting" In Proceedings of the 25th Interspeech Conference (INTERSPEECH), Kos, Greece, September 2024.
  • Shun Inadumi, Seiya Kawano, Akishige Yuguchi, Yasutomo Kawanishi, Koichiro Yoshino. "A Gaze-grounded Visual Question Answering Dataset for Clarifying Ambiguous Questions." In Proceedings of The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING), Torino, Italy, May. 2024.
  • Nobuhiro Ueda, Hideko Habe, Yoko Matsui, Akishige Yuguchi, Seiya Kawano, Yasutomo Kawanishi, Sadao Kurohashi, Koichiro Yoshino. "J-CRe3: A Japanese Conversation Dataset for Real-world Reference Resolution," In Proceedings of The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING), Torino, Italy, May 2024.
  • Shang-Chi Tsai, Seiya Kawano, Angel Garcia Contreras, Koichiro Yoshino, Yun-Nung Chen. "ASMR: Augmenting Life Scenario using Large Generative Models for Robotic Action Reflection." In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024, Sapporo, Japan, March. 2024, Best Paper Award.
  • Shohei Tanaka, Konosuke Yamasaki, Akishige Yuguchi, Seiya Kawano, Satoshi Nakamura, Koichiro Yoshino. "Do as I Demand, Not as I Say: A Dataset for Developing a Reflective Life Support Robot." IEEE Access, Vol. 12, pp.11774-11784, January 2024.
  • Koichiro Yoshino, Yun-Nung Chen, Paul Crook, Satwik Kottur, Jinchao Li, Behnam Hedayatnia, Seungwhan Moon, Zhengcong Fei, Zekang Li, Jinchao Zhang, Yang Feng, Jie Zhou, Seokhwan Kim, Yang Liu, Di Jin, Alexandros Papangelis, Karthik Gopalakrishnan, Dilek Hakkani-Tur, Babak Damavandi, Alborz Geramifard, Chiori Hori, Ankit Shah, Chen Zhang, Haizhou Li, Jo?o Sedoc, Luis F. D'Haro, Rafael Banchs and Alexander Rudnicky. "Overview of the Tenth Dialog System Technology Challenge: DSTC10." IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP), Vol. 32, pp.765-768, July 2023,
  • Seiya Kawano, Koichiro Yoshino, David Traum and Satoshi Nakamura. "End-to-End Dialogue Structure Parsing on Multi-Floor Dialogue Based on Multi-Task Learning." Frontiers in Robotics and AI, Vol.10, May 2023.
  • Taiki Nakamura, Seiya Kawano, Akishige Yuguchi, Yasutomo Kawanishi and Koichiro Yoshino. "Operative Action Captioning for Estimating System Actions." In Proceedings of 2023 IEEE International Conference on Robotics and Automation (ICRA2023), London, UK, May 2023.
  • Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino and Satoshi Nakamura. "Entrainable Neural Conversation Model based on Reinforcement Learning" IEEE Access, Vol.8, pp.178283-178294, September 2020.
  • Koichiro Yoshino, Kohei Wakimoto, Yuta Nishimura and Satoshi Nakamura. "Caption Generation of Robot Behaviors based on Unsupervised Learning of Action Segments." In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS2020) , Madrid (virtual), Spain, Nov. 2020, Best Paper Award.

全論文一覧はこちら

研究テーマ

音声対話ロボット

    人間の生活環境で実際に動作するロボットと、そうしたロボットとの音声言語を用いた対話について研究します。 このようなロボットを実現したい場合、音声認識に始まり、実際の生活環境における多様な事物の認識、認識結果に基づく状況の理解、行動目的に合わせた意思決定（推論、プランニング、制御）、そして実際の発話生成や動作生成が必要です。 実世界における音声対話を実現するため、言語を中心としたシステムにより関連するあらゆる研究課題、基礎研究に取り組みます。

研究プロジェクト（年度）

  • 2024 -- 2027, 科学技術振興機構, さきがけ, 研究開発における暗黙知を形式知化する自然言語処理の研究（さきがけ 自律駆動による研究革新）, 代表者
  • 2024 -- 2025, Google Gift 2024, Real-World Understanding and Grounding for Embodied Robot Dialogue, 代表者
  • 2022 -- 2025, 文部科学省, 科研費, 基盤B, 言語で記述された常識と実世界の観察を統合するロボットのための知識推論システム, 代表者
  • 2022 -- 2026, 科学技術振興機構, ムーンショット型研究開発事業, 知識推論と対話を用いたマルチモーダル仮説生成, 人と融和して知の創造・越境をするAIロボット 代表者
  • 2024 -- 2028, 文部科学省, 科研費, 基盤A, 能動的Open-world認識による知識拡張・環境認識基盤の構築, 分担者（代表: 川西 康友）
  • 2024 -- 2028, 文部科学省, 科研費, 挑戦的研究（開拓）, 心理学とAI・ロボティックスの融合による認知・行動への現実世界・人間中心アプローチ, 分担者（代表: 熊田 孝恒）

過去の研究プロジェクト

  • 2022 -- 2023, 文部科学省, 科研費, 新学術領域研究（研究領域提案型）, 長期的なユーザとの関係を考慮した行動変容対話における対話戦略と応答表現, 代表者
  • 2020 -- 2021, 文部科学省, 科研費, 新学術領域研究（研究領域提案型）, ユーザに行動変容を促すマルチモーダル対話ロボット, 代表者
  • 2019 -- 2019, Adobe Research Gift, Image Editing System with Natural Language, 代表者
  • 2017 -- 2020, 文部科学省, 科研費, 基盤(S), 次世代音声翻訳の研究, 分担者（代表: 中村 哲）
  • 2017 -- 2020, 文部科学省, 科研費, 基盤(A), パラ言語情報を含む同時音声通訳技術の研究, 分担者（代表: 中村 哲）
  • 2016 -- 2019, 科学技術振興機構, さきがけ, 漸進的な言語理解・知識獲得に基づく音声対話システム（さきがけ 新しい社会システムデザインに向けた情報基盤技術の創出）, 代表者
  • 2016 -- 2018, 情報通信研究機構, 委託研究, 京都インバウンド観光に向けたIoT-to-Humanシステムの研究開発, 分担者（代表: 中村 哲）
  • 2015 -- 2017, 総務省, 戦略的情報通信研究開発推進事業（SCOPE）, 地域ICT振興型研究開発, 高齢者見守りのための生活支援対話システムの研究開発, 分担者（代表: 中村 哲）
  • 2017 -- 2018, Microsoft Research Asia Collaborative Research, Sentence Generation based on Integration of Various Observations, 代表者
  • 2015 -- 2016, 文部科学省, 科研費, 研究活動スタート支援, 実用的な話し言葉の解析技術に関する研究, 代表者
  • 2013 -- 2014, 文部科学省, 科研費, 特別研究員奨励費, 情報抽出に基づくユーザやドメインに適応的なマルチモーダル対話システム, 代表者

企業との共同研究

  • 2023 -- 2024, 日本電信電話株式会社, End-to-end 音声対話システムの研究開発.
  • 2021 -- 2022, NTT docomo, 意思決定モデルの機械学習を用いた高度化支援に関する技術指導.
  • 2020 -- 2021, 日本電信電話株式会社, 雑談対話システムにおける文脈を考慮した応答生成手法に関する研究.
  • 2020, 株式会社博報堂, ビジネス対話商談に関する研究.
  • 2018 -- 2020, オンキヨー株式会社, AI音声認識の基礎技術の指導育成及び、今後のコミュニケーション技術の発展に関する研究.
  • 2018 -- 2019, 日本電信電話株式会社, 雑談対話システムにおける文脈を考慮した応答生成手法.
  • 2017 -- 2019, 日本電気株式会社, 大規模知識を用いた逐次仮説推論の効率化.
  • 2016, ソニー株式会社, 機械学習による対話制御に関する研究.
  • 2015 -- 2016, TIS株式会社, マルチモーダルインタラクションを用いた対話処理に関する研究.
  • 2015 -- 2017, 日本電信電話株式会社, 雑談対話システムの自動評価およびタスク達成対話システムと雑談対話システムの統合に関する研究.
  • 2015 -- 2016, シャープ株式会社, ロボットとの対話による癒し効果の研究.