
きになるなるなる
ついにBitNet Llama8Bが登場! CPUのみで爆速推論するLLM,BitNet.cpp|shi3z
科学の世界では、それまでの常識が覆ることを俗に「パラダイムシフト」と呼ぶ。 しかし、もしもAIの世界にパラダイムシフトという言葉があるとしたら、今週の人類は一体何度のパラダイムシフトを経験しただろうか。 そのトドメの一撃とも言えるのが、BitNetのLlama8B版だ。 Lllama-8B構造で学習された最初のBitNetであり、全てを変えてしまうゲームチェンジャーでもある。CPUのみで秒間5-20トークンを出力する。超強力なLLM推論エンジンの出現だ。 BitNetとは、そもそも1.58ビットに相当する情報量で、本来は4ビット以上必要な大規模言語モデルの計算を劇的に高速化する技
「夢は俳優」ペネトレーションテスターのプライドと成功と失敗 | ScanNetSecurity
西海岸には豊富そうな人材だ。
一部の詐欺師は AI 支援型のソーシャルエンジニアリングツールを使用しており、ディープフェイクを使用した破壊的攻撃の可能性もあるが「一般的にこの技術は、大半のサイバー犯罪者が求めるような高い投資収益率を期待できるものではない」と彼女は言った。「私は 3 文字表記の機関に友人や接点がありますが、彼らによると、国家による攻撃はディープフェイクの作成からは目を背け、電話を使った、より伝統的ボイスフィッシングの手法に戻りつつあるようです」とデニス氏は述べた。
もうでかいVRAMに高い金を払う必要は無くなるかもしれないのか?超分散LLM推論環境が爆誕 |shi3z
世は大容量GPU時代。 吾輩も、秋葉原で大容量VRAM搭載GPUの中古が出たときけばすぐに飛んでいき買ってくるということを繰り返している。ちなみに最近、秋葉原の大容量中古GPUは飛ぶように売れているので、見つけたら即買いしないとすぐに無くなる。 なぜ大容量GPUが欲しいかと言えば、それがAIの全ての力の源だからである。 しかし、これは我々のようなガチ研究勢の話であって、ビジネスパースン的には「いやあこれからはローカルLLMでセキュリティバッチリでしょう」みたいな話をしても、「んで、おいくら万円ですか?」と聞かれて、「えーと、GPU単体で500万円くらいでやす」とか言うと客も裸足で逃