LLM「BitNet b1.58」1ビットLLM「行列計算に乗算の必要なし」高速化と高性能を実現！AIモデルを効率よく低コストで運用できる可能性！解説あり : メタバース速報　メタバースまとめ

1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

1ビットLLM!!!!!
これはすごいぞ!足し算だけで計算可能で
3BでLLamaより高性能(pplが少ない)
スピードは通常のNNの2.4倍から3倍 https://t.co/imz0TR9Q2n pic.twitter.com/fOcLaKghBk
— shi3z (@shi3z) February 28, 2024

2: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

1bitLLMは前から話題自体は存在してて、既存のモデルの量子化を削るのではなく元から1bitでやろうって話よね。
そして加算回路じゃなくて確かANDマスク処理で動くから既存の半導体財産の使い方が根底から変わる（FPGAがLUT単位で計算資源化する）辺りの話だったような。バイナリーニューラル https://t.co/d5uMvXsxMA
— 裏技君 (@urawazakun) February 28, 2024

※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
3: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

#BitLLM 発想がシンプルですき🤭
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
1ビットLLMの時代: 全ての大規模言語モデルが1.58ビットに

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性もhttps://t.co/VQLJTHDNtq https://t.co/FDqUJZLqZI pic.twitter.com/NFpXBUJGIg
— forasteran (@forasteran) February 28, 2024

マイクロソフトが発表したBitNet、やばすぎて半信半疑ながらも真実ながら凄すぎて期待してしまう。
行列の中身を1ビット(0 or 1のみ)にして、行列演算に乗算が必要なくなって高速化させてるらしい。

高速化する理屈はわかるけど、論文によるとなぜか精度も向上してるらしい。
やばすぎて一旦様子見。 pic.twitter.com/jugSP5RpLX
— goto (@goto_yuta_) February 28, 2024

GitHub: https://t.co/lGhlm68RaA
— goto (@goto_yuta_) February 28, 2024

そして正しくはBitNet b1.58
— goto (@goto_yuta_) February 28, 2024

4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

Githubに実装も公開されてて、アーキテクチャ図もあるけど、Transformerの部品にBitってつけてビット加算にしてるだけでやってることはまじで同じそう。
なんで精度上がるんや... https://t.co/ZnNYlyJIZl pic.twitter.com/rFmZ6ihShi
— goto (@goto_yuta_) February 28, 2024

-1,0,1の3通りの1.58bit LLMだと！これが真なら専用AIチップつくればローカル推論に革命起きるね．高価なGPUはいらなくなる．

情報量削減（精度を下げること）がチップにとってどれだけ有利かというと、
・消費電力：256分の1
・集積効率：256倍
・演算速度：240～300分の1
※IBMのレポートより https://t.co/k8CYjXSJes pic.twitter.com/5now4v04E5
— ishizaka.ai｜声色デザイナー (@yuhei_ishizaka) February 28, 2024

機械学習、やれ16bit浮動小数点数だの、いや8bit浮動小数点数がほしいだのと、行列の個々の値の表現範囲はそれほど広くなくてもいい方向で進んでいたが、結局これで良かったのか？ https://t.co/pFZpN7W86x
— 江添亮 (@EzoeRyou) February 28, 2024

こうしてハードウェアすらも最適な演算が更新されて省力化されていくんだろうなー。AGIが完成したら10年前のPCでもLLMが動くアーキテクチャ発見されそう。そんなものじゃないけど、まずはその辺がディスラプトされていくんだろうな。 https://t.co/MMGg2o63bA
— さとり (@satori_sz9) February 28, 2024

従来の1ビットLLMは2値{-1, 1}の重みだったのを、このBitNet b1.58は3値{-1, 0, 1}つまり1.58ビットにしたことが、性能向上につながった要因だそうです https://t.co/WO9rO3g28s
— ララどり (@presklux49) February 28, 2024

今まで1パラあたり32bitでトレーニング、推論してたのが1パラ2bitで済むなら同じGPUのVRAMで16倍のパラ数が扱えて、演算効率も爆増か？そもそも既存の行列演算と違ってくるからGPU要らなくなる？ガチならこれは大変な事やと思うよ
— うみゆき@AI研究 (@umiyuki_ai) February 28, 2024

5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

Microsoftの1ビット量子化(!)LLMの論文
これ本当ならタイトル通り生成AIの新時代かもしれない
"The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits"https://t.co/C0hldoTvty
従来と比べて9倍近く高速.十分すごい
問題はここからで,1ビット量子化(重みが0,1のみ)で性能が上がる？？ pic.twitter.com/hMDk5n4msE
— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) February 28, 2024

「1ビット量子化LLM自体は前からあったやろ」のノリで，今日の前半にこの論文が目に入った時は割とスルーしてたんですが，あとから結果をみて「！？」になった
— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) February 28, 2024

すごい結果は，基本的には割り引いて考えるべきなんですが，量子化は割とLLMコミュニティにおいて実用レベルで成功してきた歴史があるので，ちょっと贔屓目に考えてしまうのですよねぇ
— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) February 28, 2024

ただまぁ，LLMの根本技術に関する論文でインパクトが見た目凄すぎるものは，見かけほどすぐに具体的な実装やサービスが出てくるものではないし（例えば，去年公開された10億トークン入力LLMの研究は今どうか？），たぶん実装もなさそうなので，様子見ですかね https://t.co/4jeoDbN1x3
— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) February 28, 2024

積和部分がビット演算で活性化関数が256階調ってことは、要するに「可決にする票数が50%ではなく（1/256%単位で）任意な多数決」的な、ちょっと決定木っぽいレイヤを多層にしたモデルという感じがする。確かに汎用性ありそう（どのみち活性化関数で閾値弁別するので手前の積和がアバウトで大丈夫そう）
— Masayuki Isobe (@chiral) February 28, 2024

プログラマーなら全員BitNet試してみるべきhttps://t.co/VzBFCaa6g1
— shi3z (@shi3z) February 28, 2024

このコードなんかうまく動かなかった

こっちは動くようだ。とりあえず試すhttps://t.co/BdRDktD1VR
— shi3z (@shi3z) February 28, 2024

【生成AIに革命か、Microsoftが新モデルを発表】

Microsoftが「BitNet b1.58」という新しいモデルを開発し、これが従来のモデルと同等の性能を、はるかに少ない計算リソースで達成できることを実証しました。… pic.twitter.com/MrQm4MyPUY
— 木内翔大＠SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) February 28, 2024

詳細はこちら

🔗- The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bitshttps://t.co/jispnbrvC2
— 木内翔大＠SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) February 28, 2024