---
title: 日本語全二重音声対話システム「J-moshi」公開！Google Colabで使ってみよう！
description: 名古屋大学の日本語全二重音声対話システム「J-moshi」をGoogle Colabで簡単に試せる方法を紹介。
image: https://corp.aicu.ai/hubfs/rectangle_large_type_2_097690d1d4d64f5231515c520aba9225.png
---

[![AICU-LogoWT](https://corp.aicu.ai/hs-fs/hubfs/Logo/AICU-LogoWT.png?width=200&height=512&name=AICU-LogoWT.png "AICU-LogoWT")](https://aicu.ai)

Search toggle

- [AICU](https://aicu.ai/)
  
  AICU 
  
  
  
    - [Blog \[English\]](https://corp.aicu.ai/en)
    - [Blog \[Japanese\]](https://corp.aicu.ai/ja/)
    - [note](https://note.com/aicu)
    - [medium](https://medium.com/@aicu)
- [Products](https://corp.aicu.ai/ja/products)
  
  Products 
  
  
  
    - [AICU media](https://note.com/aicu/)
    - [X(Twitter)@AICUai](https://twitter.com/AICUai)
    - [日本市場向け製品](https://corp.aicu.ai/ja/products)
      
      日本市場向け製品 
      
      
      
          - [特定商取引法](https://corp.aicu.ai/jp-commercial-transactions-act)
    - [AI market dev solutions](https://corp.aicu.ai/products)
    - [LINE Chatbot \[LuC4\] 全力肯定彼氏くん](https://corp.aicu.ai/ja/tag/luc4%E5%85%A8%E5%8A%9B%E8%82%AF%E5%AE%9A%E5%BD%BC%E6%B0%8F%E3%81%8F%E3%82%93)
    - [AICuty](https://corp.aicu.ai/aicuty)
    - [Lecture](https://bit.ly/AICUCEO)
    - [AICU Creator Union Membership](https://note.com/aicu/membership/info)
    - [Pricing](https://corp.aicu.ai/ja/pricing)
- [AICU Japan](https://aicu.jp/)
- [About Us](https://corp.aicu.ai/about)
  
  About Us 
  
  
  
    - [Vision](https://corp.aicu.ai/vision)
    - [Privacy Policy](https://corp.aicu.ai/ja/privacy)
    - [Media Policy](https://corp.aicu.ai/media-policy)
    - [PRTIMES](https://prtimes.jp/main/html/searchrlp/company_id/133647)
    - [Become a partner](https://j.aicu.ai/Creg)
    - [Contact](https://corp.aicu.ai/contact)

[Follow us on Facebook](https://m.me/118997804638852?ref=klE9gy8WjnrE) [Follow us on Twitter](https://www.youtube.com/@AICuty) [Follow us on Instagram](https://twitter.com/AICUai)

[![AICU-LogoWT](https://corp.aicu.ai/hs-fs/hubfs/Logo/AICU-LogoWT.png?width=200&height=512&name=AICU-LogoWT.png "AICU-LogoWT")](https://aicu.ai)

- [AICU](https://aicu.ai/)
  
  AICU 
  
  
  
    - [Blog \[English\]](https://corp.aicu.ai/en)
    - [Blog \[Japanese\]](https://corp.aicu.ai/ja/)
    - [note](https://note.com/aicu)
    - [medium](https://medium.com/@aicu)
- [Products](https://corp.aicu.ai/ja/products)
  
  Products 
  
  
  
    - [AICU media](https://note.com/aicu/)
    - [X(Twitter)@AICUai](https://twitter.com/AICUai)
    - [日本市場向け製品](https://corp.aicu.ai/ja/products)
      
      日本市場向け製品 
      
      
      
          - [特定商取引法](https://corp.aicu.ai/jp-commercial-transactions-act)
    - [AI market dev solutions](https://corp.aicu.ai/products)
    - [LINE Chatbot \[LuC4\] 全力肯定彼氏くん](https://corp.aicu.ai/ja/tag/luc4%E5%85%A8%E5%8A%9B%E8%82%AF%E5%AE%9A%E5%BD%BC%E6%B0%8F%E3%81%8F%E3%82%93)
    - [AICuty](https://corp.aicu.ai/aicuty)
    - [Lecture](https://bit.ly/AICUCEO)
    - [AICU Creator Union Membership](https://note.com/aicu/membership/info)
    - [Pricing](https://corp.aicu.ai/ja/pricing)
- [AICU Japan](https://aicu.jp/)
- [About Us](https://corp.aicu.ai/about)
  
  About Us 
  
  
  
    - [Vision](https://corp.aicu.ai/vision)
    - [Privacy Policy](https://corp.aicu.ai/ja/privacy)
    - [Media Policy](https://corp.aicu.ai/media-policy)
    - [PRTIMES](https://prtimes.jp/main/html/searchrlp/company_id/133647)
    - [Become a partner](https://j.aicu.ai/Creg)
    - [Contact](https://corp.aicu.ai/contact)

Search toggle

[![AICU-LogoWT](https://corp.aicu.ai/hs-fs/hubfs/Logo/AICU-LogoWT.png?width=200&height=512&name=AICU-LogoWT.png "AICU-LogoWT")](https://aicu.ai)

- [AICU](https://aicu.ai/)
  
  AICU 
  
  
  
    - [Blog \[English\]](https://corp.aicu.ai/en)
    - [Blog \[Japanese\]](https://corp.aicu.ai/ja/)
    - [note](https://note.com/aicu)
    - [medium](https://medium.com/@aicu)
- [Products](https://corp.aicu.ai/ja/products)
  
  Products 
  
  
  
    - [AICU media](https://note.com/aicu/)
    - [X(Twitter)@AICUai](https://twitter.com/AICUai)
    - [日本市場向け製品](https://corp.aicu.ai/ja/products)
      
      日本市場向け製品 
      
      
      
          - [特定商取引法](https://corp.aicu.ai/jp-commercial-transactions-act)
    - [AI market dev solutions](https://corp.aicu.ai/products)
    - [LINE Chatbot \[LuC4\] 全力肯定彼氏くん](https://corp.aicu.ai/ja/tag/luc4%E5%85%A8%E5%8A%9B%E8%82%AF%E5%AE%9A%E5%BD%BC%E6%B0%8F%E3%81%8F%E3%82%93)
    - [AICuty](https://corp.aicu.ai/aicuty)
    - [Lecture](https://bit.ly/AICUCEO)
    - [AICU Creator Union Membership](https://note.com/aicu/membership/info)
    - [Pricing](https://corp.aicu.ai/ja/pricing)
- [AICU Japan](https://aicu.jp/)
- [About Us](https://corp.aicu.ai/about)
  
  About Us 
  
  
  
    - [Vision](https://corp.aicu.ai/vision)
    - [Privacy Policy](https://corp.aicu.ai/ja/privacy)
    - [Media Policy](https://corp.aicu.ai/media-policy)
    - [PRTIMES](https://prtimes.jp/main/html/searchrlp/company_id/133647)
    - [Become a partner](https://j.aicu.ai/Creg)
    - [Contact](https://corp.aicu.ai/contact)

[Follow us on Facebook](https://m.me/118997804638852?ref=klE9gy8WjnrE) [Follow us on Twitter](https://www.youtube.com/@AICuty) [Follow us on Instagram](https://twitter.com/AICUai)

Search toggle

What are you looking for?

Search

# 日本語全二重音声対話システム「J-moshi」公開！Google Colabで使ってみよう！

 2025/1/25

![Picture of AICU Japan](https://corp.aicu.ai/hs-fs/hubfs/2023-09-20_062230-3.png?width=40&name=2023-09-20_062230-3.png) [AICU Japan](https://corp.aicu.ai/ja/author/aidx-lab) 

![日本語全二重音声対話システム「J-moshi」公開！Google Colabで使ってみよう！](https://corp.aicu.ai/hubfs/rectangle_large_type_2_097690d1d4d64f5231515c520aba9225.png)

2025年1月24日、名古屋大学の研究者（大橋 厚元，飯塚 慎也，姜 菁菁，東中 竜一郎）が、日本語 full duplex(全二重)音声対話システム「[J-moshi](https://nu-dialogue.github.io/j-moshi/)」を試作し、モデルをHugging Faceで公開しました。公開ありがとうございます。これはAITuberやデジタルサイネージ、電話応対など使い道がありそうです。「つくる人をつくる」AICU mediaでは実際に手を動かして、Google Colabでの動くコードと解説を共有いたします。

**[https://nu-dialogue.github.io/j-moshi/](https://nu-dialogue.github.io/j-moshi/)**

> 日本語Full-duplex音声対話システムの試作  
> 大橋 厚元，飯塚 慎也，姜 菁菁，東中 竜一郎  
> 名古屋大学 大学院情報学研究科  
> 概要: 人間同士の対話における発話のオーバーラップや相槌など，同時双方向的な特徴をモデル化できるfull-duplex音声対話システムは，近年注目を集めている．しかし日本語においては，full-duplex音声対話システムはほとんど見られず，full-duplex音声対話システムの開発に関する知見は不足している．本研究では，英語における主要なfull-duplex音声対話システムであるMoshi\[1\] をベースとすることで，日本語で利用可能な最初のfull-duplex音声対話システム J-Moshi\[2\] を試作し，公開する．

[https://nu-dialogue.github.io/j-moshi/](https://www.google.com/url?sa=E&q=https%3A%2F%2Fnu-dialogue.github.io%2Fj-moshi%2F)

本研究は，[JSTムーンショット型研究開発事業 JPMJMS2011](https://avatar-ss.org/)の支援を受けています。雑談対話コーパスおよび相談対話コーパスは [株式会社アイシン](https://www.aisin.com/jp/) との共同研究において構築されたそうです。また本研究では[名古屋大学のスーパーコンピュータ「不老」](https://icts.nagoya-u.ac.jp/ja/sc/overview.html)が利用されています。

学習では128基のNVIDIA V100 32GB GPUが使用されているそうです。  
コードベースとしてはMoshiを利用し、そのコードベースを利用する形でHugging Face でモデルが公開されています。

[https://huggingface.co/nu-dialogue/j-moshi-ext](https://huggingface.co/nu-dialogue/j-moshi-ext)

> J-Moshiは[CC BY-NC 4.0](https://github.com/nu-dialogue/j-moshi/blob/main/LICENSE)の下で公開されており，研究目的での利用を想定しています．本モデルは，なりすましや詐欺など，いかなる悪意ある目的での使用も意図していません．また，本モデルの出力には，学習データに起因するバイアスや不正確もしくは攻撃的な情報が含まれる可能性があります．我々はその使用によって生じるいかなる損害についても責任を負いません．

J-Moshi のベースとなった MoshiはフランスのKyutaiという科学研究所が2024年9月に公開したものです。[Moshi](https://huggingface.co/collections/kyutai/moshi-v01-release-66eaeaf3302bef6bd9ad7acd)以外にも [Mimi](https://huggingface.co/kyutai/mimi) などの興味深い音声対話モデルを研究しています。

[https://arxiv.org/abs/2410.00037](https://arxiv.org/abs/2410.00037)

[https://kyutai.org/](https://kyutai.org/)

> Check out this Japanese version of Moshi built on our pretrained models. すごいですね！ [https://t.co/0ONrdyPwnS](https://t.co/0ONrdyPwnS)
> 
> — kyutai (@kyutai\_labs) [January 24, 2025](https://twitter.com/kyutai_labs/status/1882726508235792572?ref_src=twsrc%5Etfw)

 

もっとデモが見たい方は公式サイトへどうぞ。

[https://nu-dialogue.github.io/j-moshi/](https://nu-dialogue.github.io/j-moshi/)

公開ありがとうございます！＞名古屋大学 東中研究室

[![ComfyUI 知らないの？](https://no-cache.hubspot.com/cta/default/43845236/interactive-185006873759.png)](https://corp.aicu.ai/hs/cta/wi/redirect?encryptedPayload=AVxigLJpDGqcmlCR2HDE2lrdvHcroLnE8h1eE4Pj57uB0ZGm7UzPXHJ4HwagKbei%2BY07GivrMMFpsaKelheQnSg8CgrJZrBkLfakKhDHFZ8VvH6CEFjrCJYtiTPtd3Yh45IQFhM%2BzOYfLKZ3gHEdWQMPpwIkP0mbsYqba8NWuyI%3D&webInteractiveContentId=185006873759&portalId=43845236&hsLang=ja)

[![画像生成 お困りですか？](https://no-cache.hubspot.com/cta/default/43845236/interactive-185263496576.png)](https://corp.aicu.ai/hs/cta/wi/redirect?encryptedPayload=AVxigLLPceYexAdq25zsUGxRszDfHCax9Zi3dea6VonD2LN3z%2BZkzd%2FeOp4QgEgCpjxuYxHrDO3cXGLUQkC1cGkfsbfd6E7AV2QjiNH56CslYKYLWk2hZP3NgP76VMnTcuc48qyK6JHhoMwAgdsbQrG5676BIuxdALBaBUYhRIo%3D&webInteractiveContentId=185263496576&portalId=43845236&hsLang=ja)

## Google Colabで使ってみよう

さて「つくる人をつくる」AICUでは、実際に手を動かして検証してみるところが大事です。実行には24GB以上のVRAMを搭載したLinux GPUマシンが必要、とのことでGoogle ColabのL4環境をつかっていきます。

[![画像](https://assets.st-note.com/img/1737734203-NhGczZHjVfba12JCLQ3l5p0k.png)](https://assets.st-note.com/img/1737734203-NhGczZHjVfba12JCLQ3l5p0k.png?width=2000&height=2000&fit=bounds&quality=85)

実際にGoogle Colabで動作確認したソースコードと解説は文末においておきます。とはいえ、結果的に必要なスクリプトは実に2行!でした。

```
!pip install moshi gradio!python -m moshi.server  --gradio-tunnel --hf-repo nu-dialogue/j-moshi-ext
```

copy

mochiの原作コードにて提供されているサーバー、moshi.server に トンネルオプション\[--gradio-tunnel\]を指定すると、Google Colab側のPythonプログラムにトンネル経由で接続できます。

[![画像](https://assets.st-note.com/img/1737735024-IMZh0KubiBlx7OQgET3DY2tA.png?width=1200)](https://assets.st-note.com/img/1737735024-IMZh0KubiBlx7OQgET3DY2tA.png?width=2000&height=2000&fit=bounds&quality=85)

表示された gradio.live のURLをクリックします。

[![画像](https://assets.st-note.com/img/1737732817-1zl9W7YZNiGCjrsBpRXf3hnE.png?width=1200)](https://assets.st-note.com/img/1737732817-1zl9W7YZNiGCjrsBpRXf3hnE.png?width=2000&height=2000&fit=bounds&quality=85)

[![画像](https://assets.st-note.com/img/1737732861-j4THskdJzNY67AMLGDeoVQ2S.png)](https://assets.st-note.com/img/1737732861-j4THskdJzNY67AMLGDeoVQ2S.png?width=2000&height=2000&fit=bounds&quality=85)

> Moshi は実験的な会話型 AI です。  
> 発言はすべて鵜呑みにしないでください。  
> 会話は 5 分に制限されています。  
> Moshi は考えながら同時に話します。  
> Moshi はいつでも聞きながら話すことができます。  
> あなたと Moshi の間の流れが最大になります。  
> 海賊のロールプレイをしたり、ラザニアの作り方を尋ねたり、最後に見た映画を尋ねたりしてください。  
> すべてのブラウザをサポートするよう努めていますが、Chrome が最も適しています。  
> @Kyutai と一緒に焼きました。<3

冒頭の注釈（日本語訳）

セッションを開始すると、旅行代理店のエージェントさんが旅行の相談に乗ってくれました。

> J-Moshiの学習では，以下の音声対話コーパスを使用しました．また，これらデータに加え，J-Moshi-extの学習では，テキスト対話コーパスから音声合成された拡張データも使用しました．使用したコーパスは以下の通りです:

- 音声対話コーパス
  
    - [**J-CHAT**](https://arxiv.org/abs/2407.15828)
    - [**日本語Callhome**](https://catalog.ldc.upenn.edu/LDC96S37)
    - [**CSJ**](https://www.isca-archive.org/sspr_2003/maekawa03_sspr.html#)
    - [**旅行代理店対話コーパス**](https://dl.acm.org/doi/10.1145/3675166)
    - 雑談対話コーパス（内製）
    - 相談対話コーパス（内製）
- テキスト対話コーパス
  
    - [**日本語PersonaChat**](https://arxiv.org/abs/2109.05217)
    - [**日本語EmpatheticDialogues**](https://arxiv.org/abs/2109.05217)
    - [**日本語日常対話コーパス**](https://www.anlp.jp/proceedings/annual_meeting/2023/pdf_dir/H1-1.pdf)
    - [**RealPersonaChat**](https://aclanthology.org/2023.paclic-1.85/)

> はじめて J-moshi を起動してキョドる しらいはかせ [@o\_ob](https://twitter.com/o_ob?ref_src=twsrc%5Etfw) をどうぞお楽しみください。
> 
> 女性の声は nu-dialogue/j-moshi-ext による生成で、非常に高速に全二重会話らしきものが生成されていることがわかります。  
> （プツプツ切れているのは別の原因かも） [pic.twitter.com/Q40yulRxIg](https://t.co/Q40yulRxIg)
> 
> — AICU (@AICUai) [January 24, 2025](https://twitter.com/AICUai/status/1882828111504695649?ref_src=twsrc%5Etfw)

 

[https://twitter.com/AICUai/status/1882828111504695649](https://twitter.com/AICUai/status/1882828111504695649)

会話は発話のオーバーラップや相槌など、人間同士の対話におけるような自然なターンテイキングをリアルタイムに実現していることが体験できます。J-Moshiの学習済みモデル(nu-dialogue/j-moshi-ext)だけで推論された全二重の会話が生成されています。LLMではないので知能的な反応ではありませんが相槌のリズムなどは非常に自然です。コードの提供いっさいなく、moshiにHuggingFaceのモデルをロードするだけで実現している点も評価できると考えます（論文は後日公開されるそうです）。これはAITuberや、お年寄り向けの対話エージェント、そして会話の前の「えーと…」といったフィラーの生成で、時間がかかる大規模な言語モデルとの連携などに活用できる可能性があり、大きな貢献となりそうです。

なおJ-Moshiが生成した音声のサンプルは[**こちら**](https://nu-dialogue.github.io/j-moshi)からご覧いただけます。

> **J-Moshiは試作段階であり，その応答は不自然な場合があります．また，J-Moshiの学習データの大部分は雑談対話であるため，ユーザの指示に従った応答を生成することはできません．**

ログに表示されている opus (ブラウザの音声ストリーミング)の1サイクルの処理速度は84msecぐらいです。つまり秒11サイクルぐらいの速度でトークンを生成しています。  
（むしろこの Info表示が負荷になっている感じです）

[![画像](https://assets.st-note.com/img/1737733821-fHuFBDU4o8itjNhvSEYq5RMZ.png)](https://assets.st-note.com/img/1737733821-fHuFBDU4o8itjNhvSEYq5RMZ.png?width=2000&height=2000&fit=bounds&quality=85)

ローカル環境などで研究する場合、更に高速化したいならこちらの144行目をコメントアウトするといいかもしれませんね。  
[https://github.com/kyutai-labs/moshi/blob/main/moshi/moshi/server.py#L144](https://github.com/kyutai-labs/moshi/blob/main/moshi/moshi/server.py#L144)

Google Colabの L4 GPUでの動作で、VRAMは17GBぐらい消費しています。

[![画像](https://assets.st-note.com/img/1737734826-rVSYG0RENbdyDulQzcH1qsZa.png)](https://assets.st-note.com/img/1737734826-rVSYG0RENbdyDulQzcH1qsZa.png?width=2000&height=2000&fit=bounds&quality=85)

用途をデジタルサイネージなどに限定すれば、コンシューマGPUなどでも動くかもしれませんね。

これからも研究の発展を期待します！

本記事はAICU Japanしらいはかせが検証しました。  
AICUマガジンVol.9に収録予定です。

[https://j.aicu.ai/MagV9](https://j.aicu.ai/MagV9)

以下は、Google Colabでの動作するコードです。  
メンバーシップ向けに提供します。

[![最新情報はメールニュース  ](https://no-cache.hubspot.com/cta/default/43845236/interactive-185006873894.png)](https://corp.aicu.ai/hs/cta/wi/redirect?encryptedPayload=AVxigLJW7gimhWRN0hNs%2BjW5UowG2tnrKSvfWgCluFphhIDWA5kyrWxxqnoKFdrwtb55zIFhwBPkuotlkfGpBmvryx0LGcUeYLrszs0qgSypnlih3vul%2Bpb5woztryB6oJrCNV%2FknRcU5sPC2jCkLfs%2Fj7fAHQUfG8Q8&webInteractiveContentId=185006873894&portalId=43845236&hsLang=ja)

この記事の続きはこちらから [https://note.com/aicu/n/nc1b1a911caf4](https://note.com/aicu/n/nc1b1a911caf4)

Originally published at [https://note.com](https://note.com/aicu/n/nc1b1a911caf4) on Jan 24, 2025.

### Share:

[Share on Facebook](http://www.facebook.com/share.php?u=https://corp.aicu.ai/ja/j-moshi-20250124&utm_medium=social&utm_source=facebook) [Share on LinkedIn](http://www.linkedin.com/shareArticle?mini=true&url=https://corp.aicu.ai/ja/j-moshi-20250124&utm_medium=social&utm_source=linkedin) [Share on X](https://twitter.com/intent/tweet?original_referer=https://corp.aicu.ai/ja/j-moshi-20250124&utm_medium=social&utm_source=twitter&url=https://corp.aicu.ai/ja/j-moshi-20250124&utm_medium=social&utm_source=twitter&source=tweetbutton&text=日本語全二重音声対話システム「J-moshi」公開！Google%20Colabで使ってみよう！)

[AiTuber](https://corp.aicu.ai/ja/tag/aituber), [名古屋大学](https://corp.aicu.ai/ja/tag/名古屋大学), [音声対話](https://corp.aicu.ai/ja/tag/音声対話), [moshi](https://corp.aicu.ai/ja/tag/moshi), [JMoshi](https://corp.aicu.ai/ja/tag/jmoshi), [東中研究室](https://corp.aicu.ai/ja/tag/東中研究室), [雑談AI](https://corp.aicu.ai/ja/tag/雑談ai)

## AICU Japan

AICU Inc. AIDX Lab - Koto

[info@aicu.ai](mailto:info@aicu.ai)

## Comments

## Related posts

Search [東工大からアメリカで博士獲る！「つくる人をつくる」AICUならではの未来を予感させるクリエイター交流会 ロングレポート](https://corp.aicu.ai/ja/indest-20250123?hsLang=ja)

[データ公開！AI時代に「つくる人をつくる」感謝でいっぱいの AICU Japan Award 年間MVP決定！ 〜ComfyUIとAnimagineが頂点に〜](https://corp.aicu.ai/ja/aicu-mvp-20250125?hsLang=ja) Search

![AICU-LogoWT](https://corp.aicu.ai/hs-fs/hubfs/Logo/AICU-LogoWT.png?width=210&name=AICU-LogoWT.png "AICU-LogoWT")

AICU Inc. is AIDX company.

[Follow us on Facebook](https://m.me/118997804638852?ref=klE9gy8WjnrE) [Follow us on Twitter](https://twitter.com/AICUai) [Follow us on Instagram](https://www.youtube.com/@AICuty)

Main Office: 830 STWART DR STE277 SUNNYVALE, CA 94085-4513

```json
{
  "@context" : "https://schema.org",
  "@type" : "BlogPosting",
  "author" : {
    "@type" : "Person",
    "name" : "AICU Japan",
    "url" : "https://corp.aicu.ai/ja/author/aidx-lab"
  },
  "dateModified" : "2025-03-07T21:32:25.091Z",
  "datePublished" : "2025-01-25T20:55:15.000Z",
  "headline" : "日本語全二重音声対話システム「J-moshi」公開！Google Colabで使ってみよう！",
  "image" : [ "https://corp.aicu.ai/hubfs/rectangle_large_type_2_097690d1d4d64f5231515c520aba9225.png" ],
  "mainEntityOfPage" : {
    "@id" : "https://corp.aicu.ai/ja/j-moshi-20250124",
    "@type" : "WebPage"
  },
  "publisher" : {
    "@type" : "Organization",
    "logo" : {
      "@type" : "ImageObject",
      "url" : "https://corp.aicu.ai/hubfs/android-chrome-512x512.png"
    },
    "name" : "AICU Inc."
  }
}
```