COYOTE スタジオ採用説明会 | クリエイターのための総合情報サイト CREATIVE VILLAGE

VoiceStudio | 音声クローンや動画吹き替えをローカル環境で実行!64...

Debpalash氏らが開発する音声クローン、音声生成、動画吹き替え、文字起こし、オーディオブック制作などをローカル環境で利用できるオープンソースのAI音声スタジオ「VoiceStudio(旧Omn…

続きを読む

AC9 Cloth Retopo v1.1 | CLOやMarvelous De...

牛山氏( @naoki_ushiyama )が、CLOやMarvelous Designerで作成した衣装メッシュを2D型紙ベースでリトポロジーできる無料Blenderアドオン「AC9 Cloth …

続きを読む

NeXus MPM Tech Preview | Cinema 4DとBlend...

INSYDIUMが、Cinema 4DとBlender向けGPUシミュレーションツール「NeXus」に導入予定の新しいMPM(Material Point Method)ソルバーのプレビュー動画公開…

続きを読む

Ragdoll for Web | 物理シミュレーションで人形のようにキャラクタ...

Ragdoll Dynamicsは、物理ベースのキャラクターアニメーションツール「Ragdoll」をWebブラウザ上から利用できる「Ragdoll for Web」を公開しました。R…

続きを読む

OVERGROWN Teaser | Blender Studioが手掛ける長編...

Blender Studioが現在制作中の短編映画『OVERGROWN』のティザートレーラーが公開!Blenderを使用し絵画的なNPRの探求した作品となっております。OVERGRO…

続きを読む

VoiceStudio | 音声クローンや動画吹き替えをローカル環境で実行!646言語対応のオープンソースAI音声スタジオ!Windows・macOS・Linux

この記事は約3分16秒で読めます

Debpalash氏らが開発する音声クローン、音声生成、動画吹き替え、文字起こし、オーディオブック制作などをローカル環境で利用できるオープンソースのAI音声スタジオ「VoiceStudio(旧OmniVoice Studio)」のご紹介!

VoiceStudio

VoiceStudioは、AIを使った音声生成に関する複数のワークフローを1つのデスクトップアプリから扱えるオープンソースツールです。
以前はOmniVoice Studioという名称で開発されていましたが、2026年8月にリリースされたv0.5.0から製品名がVoiceStudioへ変更されました。
名称変更後も同一プロジェクトとして開発が継続されており、既存のデータフォルダや設定、Dockerイメージなどもそのまま維持されています。

  • 音声クローン:短いリファレンス音声から声を再現
  • Voice Design:年齢、アクセント、ピッチ、感情などを指定して音声を生成
  • 音声生成 / Text-to-Speech
  • Speech-to-Speechによる音声変換
  • 動画吹き替え:文字起こし、翻訳、話者への声の割り当て、タイミング調整
  • 文字起こし / Speech-to-Text
  • リアルタイム音声入力・ディクテーション
  • 複数話者によるストーリー制作
  • 長文やEPUBからオーディオブックを生成
  • 作成した音声やプロジェクトを管理
  • OpenAI互換のローカルAPI
  • TTS・ASRエンジンやモデルをアプリ内から管理
  • CUDA・ROCm・Apple Silicon・CPUなど複数の実行環境に対応

複数の音声AIモデルを切り替えて利用可能

VoiceStudioは特定の音声生成モデル専用ではなく、複数のTTS・ASRエンジンを切り替えて利用できる構成になっています。
デフォルトではk2-fsa/OmniVoiceをベースとしたVoiceStudioエンジンを使用し、公式のModel Catalogueには記事執筆時点で多数のローカル音声モデルが登録されています。

TTS

  • OmniVoice
  • CosyVoice 3
  • GPT-SoVITS
  • IndexTTS 2.5
  • VoxCPM2
  • MOSS-TTS
  • PocketTTS
  • Supertonic 3
  • KittenTTS

文字起こし用のASR

  • WhisperX
  • Faster-Whisper
  • PyTorch Whisper
  • MLX Whisper
  • Parakeet
  • FunASR
  • Moonshine

利用できるモデルやハードウェア要件、ライセンスはエンジンごとに異なるため注意してください。

646言語に対応した音声クローン

標準のOmniVoiceエンジンでは600以上の言語に対応したZero-shot Voice Cloningが利用でき、VoiceStudio公式サイトでは646言語への対応が案内されています。
音声サンプルを登録することで、その声を利用した音声生成や動画吹き替えなどを行うことができます。

基本処理はローカル環境で完結

音声生成や文字起こしなどのワークフローをユーザーのPC上で実行できる点です。
クラウドサービスへ音声をアップロードして処理する構成ではなく、ローカルに導入したモデルを利用して処理できます。
また開発者向けにOpenAI互換のローカルAPIも搭載されており、VoiceStudioを起動した状態で外部アプリやツールから音声生成機能を利用することも可能です。

オープンソース公開

VoiceStudio本体はAGPL-3.0ライセンスでGitHub上にソースコードが公開されています。

デスクトップアプリを仕事や商用目的で使用すること自体には用途制限はありませんが、VoiceStudioを組み込んだ製品を配布したり、改変版をネットワークサービスとして提供したりする場合にはAGPLの条件が関係します。
また、VoiceStudioから利用できる各AIモデルにはそれぞれ個別のライセンスが設定されているため、特に商用利用時には使用するモデル側のライセンスも確認する必要があります。
Windows、macOS、Linux向けに提供されており、GitHubからソースコードも入手可能です。

Pro版について

VoiceStudioにはPro向けの問い合わせ窓口も用意されていますが、Open Source版とPro版でアプリの機能が異なるわけではありません。
通常のデスクトップ利用や仕事・商用目的での利用は、AGPL-3.0のOpen Source版でも可能です。
一方で、VoiceStudioをクローズドソース製品へ組み込んで配布したい場合や、改変版をホスト型サービスとして提供したい場合など、AGPL-3.0の条件と両立しにくい用途については、Proページから商用ライセンス条件を相談できます。
なお、記事執筆時点ではPro版をオンラインで購入できる仕組みはなく、個別問い合わせによる相談形式となっています。

色々凄いツールが増えるなぁ
私もちょっと導入して試してみよ…

リンク

Screenshot of voicestudio.sh
Screenshot of github.com


PR

関連記事

  1. ShaderGlass v0.5 - レトロ表現GPUシェーダーをウインドウ上にリアルタイムオーバーレイ出来るツール!オープンソース&無料!Win

    2021-10-12

  2. 3DCoatPrint - Pilgwayから3Dプリント向けモデルを作成する為の無料ボクセルモデリングソフトが登場!商用利用も可能!

    2022-06-30

  3. PIXAR RenderMan 価格改定! - プロ版$495と非商用で使える「無料」バージョンも登場するぞ!

    2014-05-30

  4. Animate 3D v2.1 - 単一視点の動画から人物モーション生成!DeepMotionによるAI活用のアニメーション生成ソリューション!

    2020-12-02

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!
※当サイトのリンクにはアフィリエイトを含みます

※当サイトの一部記事にはアフィリエイトが含まれております。

スポンサープロダクト


X-Ray Realtime Light and TexturingTool

CGElementaryに関する記事一覧


Character Creator - アニメーション、ゲーム、AR/VR のための 3D キャラメイクソフト

Reallusionに関する記事一覧


Paintstorm Studio

Paintstorm Studioに関する記事一覧


MarvelousDesigner

MarvelousDesignerに関する記事一覧


JangaFX - Real-Time VFX Software For Real-Time VFX Artists

JangaFXに関する記事一覧


パルミーの講座が見放題!月謝制お申し込み|お絵かき講座パルミー

Palmieに関する記事一覧


《ドラゴン》―複雑な生き物モデリングとマップ作成技術のコース【Japanese】

WINGFOXに関する記事一覧


アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR






Donate

   
USD
3D人のLINEアカウントを作りました!
友だち追加




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る