京都大学 大学院情報学研究科
知能メディア講座　音声メディア分野　
奥乃研究室
成果のデモンストレーション

[ 発表論文 | 受賞 | 報道発表 | 研究室トップ ]

これまでの主な成果のデモンストレーション

ロボット聴覚オープンソースソフトウエア HARK

• 詳細情報・ダウンロード・デモ
• デモ
• 「世の中進歩堂」 放映
• Willow Garage社 Texai にHARK搭載実験 (in English) (in Japanese)
• HARK! Sound Separation Software for Telepresence Robots (Video) (Singularity Hub), 12 May 2010.

音楽ロボット

• Kyoto University Music Robots Group (Angelica Limさん 作成)
• Angelica Limさんのデモ
• 水本武志君のデモ

3人同時の注文を聞き分けるロボット

• 詳細情報
• デモ
• HRP-2

音楽情報処理・能動的音楽鑑賞

Drumix: ドラムパート編集機能付オーディオプレイアー

• 詳細情報
• TV東京 ２００７年２月２１日 「ワールドビジネスサテライト」トレンドたまご（午後１１時ごろ） 『音楽を自分好みに』 （WMV,制限あり）

楽譜に従って, 楽曲の指定されたパート (複数) をイコライズ

情報処理学会全国大会論文 (pdf)

サンプル1 (原音)

• サンプル1 (Piano抽出)
• サンプル1 (Trumpet抽出)
• サンプル1 (Bass抽出)

サンプル2 (原音)

• サンプル2 (Piano抽出)
• サンプル2 (Electronic guitar抽出)
• サンプル2 (Alto Sax抽出)
• サンプル2 (Bass Sax抽出)
• サンプル2 (Tenar Sax 1抽出)
• サンプル2 (Tenar Sax 2抽出)
• サンプル2 (Bass drum抽出)

蛍の光 (原音)

• 蛍の光 (Ch1 抽出)
• 蛍の光 (Ch2 抽出)
• 蛍の光 (Ch3 抽出)

楽器の存在確率の新しい表現法 Instrogram

詳細情報

歌詞を音楽に合わせて, カラオケ風に表示

TV東京 ２００７年１０月１６日 「ワールドビジネスサテライト」トレンドたまご（午後１１時ごろ） 『文字と音を自動認識』

音環境を可視化して, 音情報の一覧性・弁別を支援.

音楽と映像の時間的・意味的整合性の計算モデル

ロボットの挙動から言語を獲得

マルチドメイン対話システムにおけるトピック推定

カエルホタル カエルホタル Journal of Comparative Physiology A でまずOnline 出版

2011年度進行中のプロジェクト

1. 科研費 挑戦的萌芽研究 No.23650097「カエルの合唱モデルを用いた人と合奏協調する音楽共演者ロボット」 (代表), H23〜H24.
   昨年2年間挑戦的萌芽研究として行ったニホンアマガエルの合唱機構の解明の成果を, 音楽共演者ロボットの人や他のロボットと合奏機構への応用へと展開する研究です.

2. JST 日本-フランス研究交流(H21〜H24) 「能動的両耳聴」 (BINNAHR).

   日本チーム (代表:奥乃 博)

   京都大学グループ： 奥乃博, 尾形哲也氏, 駒谷和範氏, 高橋徹氏

   東京工業大学グループ： 中臺一博氏

   熊本大学グループ： 公文誠氏

   フランスチーム (代表: Patrick Danes准教授, LAAS, ポールサバティエ大学)

   LAAS グループ： Patrick Danes 准教授, Marc Renaud 教授

   Paris Univ. 6 グループ： Sylvain Argentieri 准教授, Bruno Gas教授, Jean-Luc Zarader 教授

   ENS (Ecole Normale Superieure) グループ： J. Kevin O'Regan 博士, Alan Chevigne 博士

3. 科研費 基盤(S), 「音環境理解研究からのロボット聴覚の構築」, (代表), H19〜H23.
   ロボット聴覚の構築を, 中臺一博氏 (東工大), 白松俊氏 (名工大), 北原鉄朗氏 (日大文理) と共同で, 浅野太氏 (産総研), 中野幹生氏 (HRI-JP), 後藤真孝氏, 吉井和佳氏 (産総研), らの協力を得て進めています.
   研究進捗評価で「A+」と評価されました. (2010年11月)

4. グローバルCOE 研究プロジェクト「知識循環社会のための情報学教育研究拠点」(H19〜H23)
   では, 原初知識モデル教育研究コアの事業推進者として, 音環境理解による音に関する 原初知識 (つぶやき, 視線, しぐさ, 気配まで含めた知識の総体) の知覚・獲得・応用に関する研究に従事しています.

5. 尾形 哲也: JSTさきがけ「情報環境と人」 長期インタラクション創発を可能とする知能化空間の設計論, (代表), H21〜H25.

6. 尾形 哲也: 科研費 基盤研究 (B), ロボットの能動知覚に基づく物体挙動予測モデルと道具の使用, (代表), H21〜H24.

7. 尾形 哲也: 科研費 学術創成研究費, 「記号過程を内包した動的適用システムの設計論」, (分担), H20〜H24.

8. 尾形 哲也: 理化学研究所, 共同研究, H17〜H24. 脳科学研究センターの谷淳氏との共同研究です.

9. 高橋 徹: 科研費 若手(B), アクティブオーディションによるロボット聴覚機能の向上, (代表), H21〜H23.

10. 「第九条」プロジェクト (2007年5月3日〜)

11. 「ゆっくり回ろう日本」プロジェクト (2009年8月26日スタート)

    ---

12. 駒谷 和範: 科研費 若手(B), 音声対話システムにおけるユーザ行動の時系列変化を捉えたユーザモデリング, (代表), H21〜H22.
13. 駒谷 和範: 科研費 特定領域「情報爆発」, ユーザの発話行為解釈に基づくロボット音声対話インタフェース, (代表), H21〜H22.

14. 白松 俊: 科研費 若手スタートアップ, 議題遷移の可視化と修辞構造に基づく公的討論の意見構造化支援システムの開発, H21〜H23.

15. 吉井 和佳: 科研費 若手スタートアップ, 能動的音楽鑑賞支援のための楽曲推薦技術に基づくソーシャルネットワーク構築, H19〜H21.

    ---

16. 国立大学法人評価委員会(2009): 情報学研究科の「研究成果の状況」で 「... 音楽情報処理研究も多数の論文が掲載され数々の賞を受賞するなど, 幅広く国内外で評価の高い成果を上げている」と明記されました.

17. 21世紀COE プログラム
    • 事後評価(2008)で「知識の創成では, ・・・, 3話者の同時発話を聞き分けるロボット, ・・・を展開し, 十分に多くの成果を上げている. 」と評価されました.
    • 中間評価(2006)で「音環境理解とロボット聴覚」研究が世界的な水準であると評価されました。

    ---

18. 科研費 特定領域「情報爆発」, 音響信号変換に基づいたセマンティックインタラクション, (代表), H21〜H22 (終了).
    を標傍しています. センサー能力や音響処理技術の充実による音情報収集の爆発促進と, 爆発する音情報をスマートに扱うための表現, 検索技術の開発です.

19. 科研費 挑戦的萌芽研究, 音環境理解研究のフィールド情報学への展開, (代表), H21〜H22 (終了).
    ニホンアマガエルの合唱の解明です. 音源分離, カエルホタル, 非線形システムなどがキーワードです. Physical Review E に論文が掲載されました. Preprint.

20. 科研費 基盤(A), 聴覚・音声機能の支援・拡張技術に関する総合的研究, (分担), H19〜H22 (終了).
    河原英紀氏 (和歌山大) が代表者で, 入野氏 (和歌山大), 鹿野清宏氏, 猿渡洋氏 (奈良先端大) と共同で, 聴覚障害者への情報保障の研究に取り組みました.

21. JST CREST「時系列メディアのデザイン転写技術の開発」, AIアプローチに基づく音楽デザイン転写 (分担), H17〜H22. (終了).
    は, 片寄晴久氏 (関西学院大理工) が代表者で, 関西学院大グループ, 河原英紀氏 (和歌山大), 後藤真孝氏 (産総研), 嵯峨山茂樹氏 (東大情報) と共同研究を進めました.
22. 科研費 特定領域「情報爆発」, 音響信号変換に基づいたセマンティックインタラクション, (代表), H19〜H20 (終了).
    
23. 科研費 萌芽, 二分決定グラフによる全解表現に基づく数独問題の難易度の定義と問題自動生成法, (代表), H19〜H20 (終了).
24. 高橋 徹・辻 高明: グローバルCOE平成21年度若手リーダーシップ養成プログラム研究補助金, フィールド情報学的アプローチによる社会性を有するロボット聴覚の開発 (共同代表), H21 (終了).
25. ホンダ・リサーチ・インスティチュート・ジャパン(株), 共同研究, H17〜H21 (終了).
26. 船井電機(株), 共同研究, H20〜H21 (終了).
27. ソニー(株), 共同研究, H20〜H21 (終了).
28. 三菱電機(株), 共同研究, H20〜H21 (終了).
29. (財) 中山隼雄科学技術文化財団, 二分決定グラフによる全解表現に基づく数独の問題の難易度の定義とそれに基づく問題自動生成法の研究, (代表), H19 (終了).
30. 科研費 基盤(A), ヒューマノイドのためのアクティブ・オーディションを用いた音環境理解の研究, (代表), H15〜H18 (終了).
31. 科研費 萌芽, 音響的テクスチャに基づくロボット・インタラクションの研究, (代表), H17〜H18 (終了).
32. 科研費 特定領域「情報爆発」, 音響信号変換に基づいたセマンティックインタラクション, (代表), H18 (終了).
33. パイオニア(株), 共同研究, H17〜H18 (終了).
34. 科研費 特定領域(C)「情報学」, 実時間視聴覚情報統合による複数の人とのマルチモーダル・インタラクションの研究, (代表), H16〜H17 (終了).
35. 科研費 特定領域(C)「情報学」, 聴覚・視覚の複数レベル実時間情報統合の研究, (代表), H13, H14, H15 (終了).
36. 科研費 基盤(B), GDA文書タグの自動変換とその応用システム開発の研究, (代表), H13〜H15 (終了).
37. 科研費 基盤(A), 触覚・視覚・聴覚を持つ多自由度機械に宿る知能の解明, (分担), H13〜H16 (終了).
38. 科研費 基盤(B), 音オントロジーによる音楽情報処理研究, (代表), H12〜H14 (終了).
39. 科研費 萌芽, 脳のモデルを用いた自己生成音抑制機能を備えた聴覚機能の研究, (代表), H13〜H14 (終了).

40. 尾形 哲也: 科研費 若手(A), オープンエンドな人間とロボットの協調における音声インタラクション創発に関する研究, (代表), H15〜H19 (終了).
41. 尾形 哲也: 科研費 萌芽, 環境音響を利用したロボットの動作生成の研究, (代表), H17〜H18 (終了).
42. 尾形 哲也: (財) 栢森情報科学振興財団 平成17年度設立10周年記念・特別研究助成受賞, (代表), H18 (終了).
43. 尾形 哲也: 科研費 特定領域(C)「情報学」, 人間とロボットの相互学習系におけるインタラクションの創発・発達に関する研究, (代表), H16 (終了).

44. 駒谷 和範: 科研費 若手(B), 実ユーザの多様な発話表現に頑健なマルチドメイン音声対話システムの研究, (代表), H19〜H20 (終了).
45. 駒谷 和範: 科研費 特定領域「情報爆発」, 多段階誤り原因推定に基づく発話誘導型音声対話インタフェース, (代表), H19〜H20 (終了).
46. 駒谷 和範: (財)テレコム先端技術研究支援センター SCAT研究費助成, 複数のレイヤにおける誤り原因に着目した対話管理を行う音声対話システムの研究, (代表), H18〜H20 (終了).
47. 駒谷 和範: 科研費 若手(B), 自己記述的なインタフェースを備えた音声対話システムの研究, (代表), H16〜H18 (終了).

---

Last modified: Sun Jul 24 21:24:02 JST 2011
Copyleft All Wrongs Reserved, 2001-2011.