AI動画生成「HeyGen」外国人男性の英語を日本語にAI翻訳「日常会話が出来るレベルに自然に聞こえる翻訳音声」英語と日本語の比較動画あり : メタバース速報　メタバースまとめ

1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

【ビデオを音声だけでなく口の動きも適応し翻訳する】

・ユーザーはAIツールを使用して英語から日本語への翻訳を行なった
・ユーザーの口元を日本語に合わせて変更
・ZOOMなどのビデオ会議で、ナチュラルなオンライン対話が可能に

凄い、日本語として自然に聞こえるレベルhttps://t.co/uTeRrNGRSj
— 木内翔大＠SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) October 24, 2023

2: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

詳細はこちら

🔗- ソースhttps://t.co/uTeRrNGRSj
— 木内翔大＠SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) October 24, 2023

※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku3: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

すごいんだけど、口パク合わせまでは必要ないやろというか、ここまで違和感を消すと誤訳にやニュアンス違いに気付かないってことが起こりそうな

脚本家が監修する前提で、映像作品等のローカライズとかならアリとは思うけど… https://t.co/vkj7S0FU5m
— （宇）もりやま (@axehedron) October 24, 2023

AIを利用して、英語→日本語に変換！
これは凄まじい。日本語verで日本人が聞いても違和感ないレベルまで来ている。
是非動画を音声有りで再生してみてください！！

発信元のJim Spencer（ @iowateslaguy ）によればツールはリリース予定とのことです。#生成AI #AI #音声 pic.twitter.com/RfGo9dO3Rw
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) October 24, 2023

これはすごい。
AIが、左の動画の音声を翻訳して、声の質と口パクをそれに合わせて生成したものが右の動画だそうです。
全く違和感ない。
がんばって英語しゃべる必要ない未来きた！ https://t.co/BtqPl1tr6g
— 山中俊治 Shunji Yamanaka (@Yam_eye) October 24, 2023

すげえな… https://t.co/kYHpDyT4eJ
— しろる (@0vv1861) October 24, 2023

4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

専門家のかたが「翻訳の質は良くない」と言っておられるのだが、むしろ非ネイティブの日本語として完璧だ https://t.co/5J28IpTegK
— Haruhiko Okumura (@h_okumura) October 23, 2023

流石に文脈を考慮して訳すのは難しいようですが、充分自然ですね。音声だけでなく、口の動きも日本語に合わせていることに驚きました。
— tokunaga shin-ichi（10/27公開講座申込受付中！） (@shin1toku) October 23, 2023

HeyGenが日本語出力できるようになったのかな？

Live2Dアバターで出来るか試した時は、顔、恐らく表情や口の動きを自然人と同じようには認識できない所から、エラー吐いてた

音声の翻訳は出来たけど、映像シンクロできないから不自然だったな。でもそれも時間の問題で解決しちゃうと思う https://t.co/E4mthmBFCF
— ぽいぽい (@poipoi_g) October 23, 2023

とりあえず、日常会話としては申し分ない　すごい https://t.co/Fw2R8Hw6Qj
— ゲルバナ (@bnana877) October 23, 2023

めちゃくちゃすごい。すごいんだけど、翻訳後の見た目・発音・言葉選び、どれをとっても「ネイティブの日本人」ではなく「日本語をめちゃくちゃ学んだ非ネイティブ」に近いのはなんでなん🤔
（むしろそこの絶妙さがすごい） https://t.co/TSgjSOu2yI
— うぉると (@wolt556) October 22, 2023

5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

HeyGenというツールで翻訳された動画だそうですが，凄いですね🫢右の動画だけを見たら日本語が上手な方だな〜と思ってしまいます．口の動きまでピッタリで全然違和感がないです．翻訳の対象はもう言葉だけではないんですね…． https://t.co/UcW6rZ9jPw
— 早稲田大学早水桃子研究室 (@hayamizu_lab) October 23, 2023

英語から日本語に、何も違和感がなくて衝撃。 https://t.co/mteBRANwnn
— 元木大介@量子羊 (@ai_syacho) October 23, 2023

このとても上手な非ネイティブ感は、音声データのせいかも。Bark (https://t.co/RgPNa85fGM) ってTextToAudioのツールで、ドイツ語話者の音声データ使って日本語無理矢理喋らせると、見事に非日本語話者の日本語っぽくなる。 https://t.co/GEqB5Y0oed pic.twitter.com/kB0RUi1L2X
— kogu (@koguGameDev) October 23, 2023