DevBookmark

在 iOS 開發圈打滾的台灣工程師，專為 Apple/iOS 開發者而製作的 Podcast。主講人一三、波肥。

致讀者：這是鐵人賽搶先版，還會有更多的陸續更新 在 Tensorflow 儲存深度學習模型有兩種模式，一是儲存模型所用的變數權重（tf.Variable），被稱為 Checkpoint。而後者，則是包...

從立志轉行SWE(Software Engineer；軟體工程師)至今(2022/11/25)已逾半年，陸陸續續應徵幾個SWE職缺，獲得還行的結果。

用於在編譯器處理程式之前預掃描原始碼，完成標頭檔包含, 巨集擴展, 條件編譯, 行控制（line control）等操作。

2019.08.01

紀錄學習 GAN (Generative Adversarial Network) 的重點摘要，真心佩服李宏毅老師與知乎神文等，可以把事情說得清楚透徹令人容易理解的大師

我見過的傑出人才，基本上很少是真的在追求財富和名氣的人。許多傑出人士在乎只是自己做的事情有沒有意義、有沒有價值。而財富，只是因為他們創造的價值和意義而產生的結果。 對於傑出人士而言，要能說服自己人生沒白活，才是他們想要面對的最大難題。

Explore this post and more from the DoubanGoosegroup community

文章浏览阅读941次。文章介绍了荷兰国旗问题，即对红白蓝三色球或数组进行排序，使用双指针法解决。接着讨论如何将此思路应用于快速排序，通过选取枢轴元素和递归调用来实现排序，强调了算法的时间复杂度为O(nlogn)和常量空间复杂度。此外，对比了不同快速排序实现的空间效率。

我只是一個隨處可見的上班族 就個人經驗分享一下 解題 這件事 我只是一個普通人 也不是啥IOI國手跟培訓營出身的 開始解題也是這幾年為了面試才開始刷的 現在學生真的是比以前輕鬆也比以前辛苦 輕鬆在哪？因為刷題普及化 所以網路上資源多 入門快 以前這種資訊你不是培訓營的也不會接觸到 演算法怎麼帶 怎麼練 那是要遇到好老師 我

Running free and open source large language models locally on your PC. 這是「開源大型語言模型」與「跑大型語言模型的開源軟體」列表。 本文Ivon解說如何在您的個人電腦跑類似ChatGPT的大型語言模型。免費、開源、無需網路，支援Linux/Windows/macOS系統。

Explore this post and more from the LocalLLaMA community

Explore this post and more from the LocalLLaMA community

看完文章後歡迎按鼓勵，訂閱，並分享給所有想知道此類知識的所有人！

有了模型之後再來就是使用介面了。現在有很多快速提供介面的服務像 ChatOllama、OpenGPTs 和 HuggingChat 等等，不過為了快速體驗整個 GenAI 產品功能，並專注在功能面的發...

In this blog, I’ll show you a quick tip to use PEFT adapter with vLLM. It accelerates your fine-tuned model in production! vLLM is an…

前言 相信大家已經對 ChatGPT、Claude、Gemini、Perplexity 等大型語言模型不陌生，已經有過很多使用經驗。但慢慢地，你可能開始會想，”我的資料很敏感，我不想要讓資料被這些模型利用來再訓練”。 或者，你可能想將LLM(大型語言模型)整合到自己的小應用，卻覺得一直付費打API不划算。 於是你開始思考，有沒有可能在自己的電腦上運行一個LLM服務呢? 但一想到環境設定就覺得頭大，不知從何下手。 別擔心，本文接下來要介紹的LM Studio能解決你的這些問題，不需要複雜的建置步驟，就能讓你輕鬆建立自己個LLM服務。想知道怎麼做到的嗎？接著看下去吧！ LM Studio LM Studio 是一個提供圖形化介面的Desktop應用程式，讓使用者可以在本地電腦上運行與實驗各種開源LLM。 根據官方文件，它主要有幾個功能: 1. 在本地端運行LLM 2. 大家都熟悉的對話介面 3. 可以直接搜尋並下載Hugging Face上的開源模型來使用 4. 可以運行一個跟Open AI API類似的 local server來提供服務 5.

VLLM是一款经过优化的推理引擎，在令牌生成速度和内存管理效率上表现出色，是大规模AI应用的理想之选。Ollama则是一个轻量级、易上手的框架，让在本地电脑上...

文章浏览阅读5.9k次，点赞42次，收藏24次。部署场景：从个人开发环境到企业级生产系统，选择合适的部署方案。性能需求：根据延迟、吞吐量等指标选择最适合的技术框架。资源约束：考虑硬件资源限制，选择合适的优化策略。开发难度：评估团队技术能力，选择适合的实现方案。维护成本：考虑长期运维和升级的技术投入。通过深入理解各个框架的技术特点和适用场景，开发团队可以根据具体需求选择最适合的部署方案，实现大语言模型的高效服务。作者：Gautam Chutani。_llm部署工具

随着大模型的落地应用需求，各种大模型的推理框架也出现“涌现”的“输出”，目前大模型的推理框架有ollama、vllm、LMDeploy、 sglang、xinference，主流的推理框架是ollama和vllm原理： ollama的原理：底层是llam…

最近上課常被問到，如何在地端環境搭建出大語言模型(LLM)，並且呼叫其API。 一開始我不太理解為何會有這樣的需求(因為在地端自行搭建運行LLM的成本不一定比較低，即便可能比較安全)，但被問多了，也就開始遍尋相關的解決方案，看看有沒有什麼最簡單的方式，可以讓開發人員在地端測試大...

文章浏览阅读9.3k次，点赞20次，收藏28次。这个确定性函数通常是一个线性变换，将从标准高斯分布（均值为0，方差为1）中采样的随机噪声与潜在变量的均值和标准差相结合。然后，通过一个神经网络或其他可微分的映射函数，将这个随机噪声向量与模型的均值和标准差参数相结合，生成最终的潜在变量。总之，“Reparameterization trick” 允许模型在训练过程中通过随机采样得到的潜在变量，同时保持了可微性，从而使生成模型更容易优化。：在生成模型中，通常会有一个随机性的潜在变量，例如高斯分布中的均值和方差，用于生成样本。_reparameterization trick

關於家庭，有二點同樣重要且並存的真理：第一、家庭是幸福的泉源、聖殿和安全的所在；它反映出我們的特性，顯現出我們的審美觀和我們的過去。 第二、家庭是強佔我們週末最多時間、進而摧毀它的主要元凶。

大家午安～講了那麼多天模型訓練，想必大家應該都有點膩了吧？今天就來點不一樣的（其實是為了明天鋪路）。在之前的文章裡面，我們提到很多計算詞頻的方法跟變體，但是也說過這樣的計算發法有它的限制性在，所以...