跳至正文
MakerGain
← 返回项目

當 AI 把退款規則答錯,Langfuse 想讓你看見它查了什麼

編輯:MakerGain

Langfuse 把一次 LLM 應用互動記成可展開的 trace,讓團隊回看檢索內容、prompt 版本、並行步驟與 token/成本,再把評估掛回資料集和 prompt 實驗。團隊從 Finto 轉向開源 LLM 開發者工具,早期客戶推動其補上 prompt 管理,最終在 2026 年 1 月被 ClickHouse 收購。

設想一個 LLM 客服應用把退款規則答錯:使用者問「用了半年的會員還能退嗎」,它答能退,實際政策是不行。開發者這時要查的是它憑什麼這麼答,而不是它答了什麼——檢索到了哪段政策、用了哪版 prompt、中間哪幾個步驟在並行跑、這一問花了多少 token。Langfuse 接的就是這段「出錯之後」的麻煩:把一次應用互動記成一條可展開的 trace——一次請求從進到出的完整記錄,讓團隊回看、評估、改下一版 prompt。這是示意場景,不是某個客戶的故事。

官網把 Langfuse 定義為開源 AI 工程平台,涵蓋 tracing、prompt 管理、評估和實驗,可雲端託管或自託管。Langfuse 官網[1] 它於 2026 年 1 月加入 ClickHouse,YC 檔案狀態列為 Acquired。YC 公司頁[2] 這是後話,先看產品怎麼運作。

先記錄,再談評估

接入方式有三種:埋 SDK、用 OpenTelemetry,或把模型呼叫路由到 Langfuse AI Gateway。前兩種是非同步的,資料在背景批次傳送,不阻塞應用;Gateway 則是把應用裡的 base URL 和 API key 換成它的,呼叫經過它的請求路徑,以 Rust 建構並針對低延遲最佳化。官網 FAQ 說,SDK 裡的 prompt 首次拉取後會快取在用戶端,之後不再增加延遲;對走 AI Gateway 的呼叫,官網稱其可用性保證讓應用在 Langfuse 不可達時繼續運作。官網 FAQ[1] 想完全不碰請求路徑,就用前兩種;選 Gateway,等於在你和模型供應商之間多了一段要自己設定和照看的路由,官方用低延遲和可用性保證來對沖這部分代價。

點開一條答錯的 trace,能看到這次請求的完整執行流:呼叫了哪些模型 API、檢索回哪幾段上下文、system prompt 是哪一版、哪些步驟並行、每一步各花了多少 token 和多少錢。複雜呼叫用巢狀 trace 表示;成本和延遲可以按使用者、工作階段、功能、模型和 prompt 版本拆開。YC 公司頁[2] 如果只想知道「哪裡貴、哪裡慢」,到這一層就夠了;要追「為什麼答錯」,還得把檢索到的政策原文和 prompt 版本對起來看。

圖:Langfuse 官方展示[1],2026-11-10 取得,保留原始介面。

評估接進來的位置也在這裡:把出錯的輸入和期望輸出放進資料集,改一版 prompt,再跑一次實驗,比較兩版在同樣輸入上的得分。輸出品質可以用使用者回饋、LLM-as-a-judge(讓另一個模型按標準打分)和人工標註來評估。YC 公司頁[2] 產品接手的是記錄和對照,不替團隊決定什麼算好。評估標準、人工標註、改哪版 prompt 仍要人做;自託管的話,基礎設施和權限策略也得自己管。我最欣賞它把評估掛回 trace 和 prompt 版本,而不是只給一個漂亮分數——分數離開「當時查了什麼、用了哪版 prompt」就很難解釋。

客戶把 prompt 管理推出來

Langfuse 不是先畫好平台架構圖再找客戶。團隊 2022 年開始,先做用量計費產品 Finto,2022 年 11 月進入 YC W23;到舊金山後,客戶喜歡 Finto,但團隊不願在成熟小市場裡做又一代產品。他們用 YC batch 的大部分時間試做 LLM 應用,大多數點子不到兩週就換,最後一個做多檔案編輯的做了更久。這段試錯讓他們認定:LLM 應用難做,需要方法化評估。於是轉向開源 LLM 開發者工具。[3]

初版完成後,第一批客戶來自 YC batch。早期客戶在產品裡花大量時間迭代測試,給回饋、也把團隊轉介紹給別人,團隊因此決定開源並發布 repo,2023 年 7/8 月以 LLM App 產品分析公開上線。最初幾個月他們只專注 tracing/observability;跨新年決定做 prompt management,原因是早期客戶要求,而且 prompt 和 tracing 緊耦合有額外價值,初版幾天內上線。這個順序很重要:不是「平台願景」先行,是客戶把 prompt 管理推出來的。

公開上線後,他們完成 $4M seed,投資方包括 Lightspeed Venture Partners、La Famiglia、Y Combinator 和天使投資人。這是融資,不是訂閱收入;公開可見的材料裡沒有 ARR/MRR、毛利率、基礎設施成本或客戶集中度,營收和利潤都算不出來。[3]

按資料點收費,帳單跟著除錯走

Langfuse 面向 LLM 應用開發者和做評估的團隊;付費雲端方案按傳送到平台的資料點計費,帳單歸帳戶所屬團隊或公司;自託管則由使用它的團隊自己承擔基礎設施。自託管在 MIT 許可下免費,核心功能(可觀測、評估、prompt 管理、資料集)不限量;自託管 Enterprise 另加專案層級 RBAC、稽核日誌、資料保留策略、管理 API 和 SLA 支援。官網[1] 雲端託管的帳單不按人頭,按 tracing 資料點:trace(完整應用互動)、observations(trace 內的 spans/events/generations)和 scores。[4]

兩條軸要分開看。容量軸:免費 Hobby 方案含 50k units/月;付費方案含前 100k units/月,超出按量遞減。保留軸:Hobby 30 天存取,Core 90 天,Pro 和 Enterprise 3 年,Pro 和 Enterprise 還帶 Data retention management。[4]

多付錢買到的不只是更多 units,也是更長存取。比如一個小團隊剛上線,50k units/月可能夠抓最近一次事故;要把三個月前一次 prompt 改動翻出來,得選 90 天視窗的 Core;要翻半年前,就得 Pro 或 Enterprise 的 3 年視窗。官網只列存取視窗和 Data retention management 功能,沒把刪除視窗講全;如果合規上要確認資料什麼時候被刪,還得直接問。

如果你要比託管 tracing,LangSmith 也把「記多少」和「留多久」拆開:它按座位加 trace 量計價,基礎 trace 保留 14 天,延長到 180 天要另收費。LangSmith 價格頁[5] 兩邊拆法不同。要比,就比同一個任務下你每月發多少 trace、要留多久,而不是一句「誰更便宜」。

不打算賣,卻賣給 ClickHouse

收購公告寫得很坦白:公司原不打算出售,已經拿到很好的 Series A term sheets,並期待聖誕假期;改變主意是因為認為和 ClickHouse 一起能更快,同時保持開源、自託管和面向生產負載。現有開源/自託管承諾和 Cloud 產品、端點、合約不變,團隊全部加入 ClickHouse 繼續建構 Langfuse。[6]

技術原因也不繞:第一版為了快速交付跑在 Postgres;採用規模成長後,高吞吐寫入和快速分析讀成了瓶頸,v3 把核心資料層遷到 ClickHouse。Langfuse Cloud 是 ClickHouse Cloud 的大客戶,ClickHouse 團隊也用 Langfuse;v2→v3 升級把數千團隊引入 ClickHouse。收購金額、支付方式沒披露。

這樁收購像產品自己寫出的註腳:一個記錄 LLM 應用資料的工具,最終和資料庫公司綁在一起;但公司原不打算出售,已有很好的 Series A term sheets,改選 ClickHouse 是因為認為一起能更快。我覺得 Langfuse 最值錢的地方,不是那個評估分數,而是把 LLM 應用的執行過程變成可查詢的資料。

繼續閱讀

AI 開發
每改一個小地方都要再付一次錢,他把 App 設計搬進了聊天框

Diego Roshardt 發現行動應用程式的設計稿每次修改都要另外付費,於是做了 AppAlchemy。使用者在聊天框描述 App,產生 React Native 程式碼後,掃碼就能在手機上即時預覽。改一句話,畫面就跟著變。程式碼可以匯出,公開資料未交代由誰打包和上架。他花約兩週做出初版,選擇先累積 Reddit 帳號的活動紀錄、找出相關社群,再用對讀者有價值的貼文分享產品連結,以這種方式代替直接投放廣告。

AI 開發
客戶問「它能自動化什麼」,他只能答「anything」:Meerkats 後來把這句話拆成規則

Santanu Dasgupta 在兩次失敗後做出 Meerkats。它起初是無程式碼 LLM 應用搭建工具,早期鎖定代理機構;官網如今將它定位為 AI 系統的 context layer,具體工作是把業務資料、定義、狀態、規則與允許動作串成受管理的上下文,供 agents 讀取與行動。經營者將過去「anything」的回答,收窄為按規則、權限執行並留下 receipt。

AI 開發
RepoPrompt 取消了 15 美元月費,替編碼代理挑檔案的工作還在

RepoPrompt 接手的是編碼代理請求送出前的挑選:模型的上下文與注意力有限,常只讀部分程式碼庫就推理,它把相關檔案和儲存庫結構組裝成可審閱上下文,再交給代理。經營者 Eric Provencher 後來取消 15 美元月費,開源社群版並封存 Classic;加入 OpenAI 後,他不再積極參與,維護交給社群。免費的是應用訂閱,模型呼叫仍按各自服務條款計費。

AI 開發
先寫說明書,再讓 AI 寫程式:CodeGuide 把 9 小時文件工作做成訂閱

CodeGuide 賣的是先替專案寫好的說明書:把需求、架構和任務拆清楚,再交給 AI 程式開發工具。它從 CJ 做 MVP 開發服務的自用流程起步——先用 ChatGPT 花 9—10 小時問清專案,再用 make.com 串提示詞省下約 7 小時。CJ 沒先建完整產品,而用 Bolt 搭登陸頁收集候補名單,並逐一私訊留言的 beta 用戶,問其是否已有更好流程解決 AI 幻覺;他的結論是,自己試過的方式在這些做法中依然最好。