1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Q. えっ、GPT ではトークナイズするときに形態素解析してないの？
— amachino (@amachino) January 25, 2023
A. してません。詳しくは ChatGPT に聞いてみてください。https://t.co/11ONCbESFH
ChatGPT の何が恐ろしいかって、英語に比べて日本語が経済的に不利なこと。
— amachino (@amachino) January 24, 2023
英語は単語数で課金される一方、日本語だと文字数で課金されるので、同じ情報量で倍くらいコストがかかる。
もしこのままのビジネスモデルで支配されたら、日本語は淘汰されるんじゃないか？ pic.twitter.com/e01DPSkyIe
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
3: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
ネットの反応
情報を詰め込む方法をchatgptに聞かなきゃ
DeepLで英訳してから迂回！
凄い発想で同感です
一方Twitterは日本語の方が有利な模様
文章の書き方によるんでないか
学習コストも日本語のほうが高額な可能性あるな
なるほど。。
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
ふむ……？ https://t.co/0lXWxJIc3G pic.twitter.com/vZBK9mlr8f
— iDOL_Ranfa_M@STER@📘🧭 (@hizumiaoba) January 25, 2023
確かに英語はスペースでsplitすれば楽だけど、日本語とかどこで区切ればいいか判定するの難しいし単語より文字数になるだろうな https://t.co/gD5FazAjdv
— teftef (@hanyingcl) January 25, 2023
その理論で言ったらバイト数で140という制限のツイッターでは日本語が有利なんだよね。 https://t.co/0vXTzO3KHE
— 白いルイス (@whiteknight6569) January 25, 2023
日本語 も 文法的に スペースを 入れれば 同じ ように 処理 できるの では？ https://t.co/xenGzJr1s4
— 研究雲 (@abhphy) January 25, 2023
これは大事なポイント。自分もGPT3使うときは英語で運用してから、別途翻訳するか英文ですますことが多い。SNS投稿はChatGPTの日本語とか使うけども。 https://t.co/od6bFIcuk3
— 深津 貴之 / THE GUILD / note.com (@fladdict) January 25, 2023
LLMの推論性能上がったら解決される問題ではあるものの、話者が少ない日本語にわざわざ対応する経済的なメリットも少ないので、この傾向はしばらく続きそう https://t.co/IfEZC2qW45
— 森石豊(Yutaka Moriishi)_STUDIO EURYGRAPH (@forestone05) January 25, 2023
うーん、意味レベルでトークンは分けて欲しいですね…
— t長谷川 (@t_hasegawa_DS) January 25, 2023
言語の淘汰が経済だけで決まって欲しくない感 https://t.co/nnw7zg5EB7
Tokenizer Toolがブラウザ上で動作するようにJavaScriptで書かれているだけであって、実際にChatGPTに入力する際はMeCabで形態素解析するのでは？（Chromeの開発者ツールでネットワーク見てもAPI通信はしていないし、そもそもマルチバイト文字列の処理おかしいし）https://t.co/hVdfcSyUnv https://t.co/vQaTUulnaT
— 希 (@nyama39) January 25, 2023
やっぱり基本は英語で、必要なときのみ日本語を使うのが最強😼 https://t.co/ggk0z9988L
— じゅくのせんせー (@jukunosense) January 24, 2023
_________________________________________________________________________________
コメントする