AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
Chủ đề kỹ thuật triển khai thảo luận cách chạy mô hình nhanh hơn và tiết kiệm hơn: tăng tốc suy luận, tối ưu bộ nhớ và chi phí, triển khai dịch vụ, giám sát và khả năng quan sát. Phù hợp với kỹ sư phụ trách vận hành và triển khai tham khảo phương án cụ thể và dữ liệu thực đo trước khi chọn công nghệ. Giúp giảm chi phí thử sai. Nội dung chủ yếu là phương án và dữ liệu có thể tái lập.
Làm sao để chạy mô hình nhanh hơn và tiết kiệm chi phí hơn: tăng tốc suy luận, bộ nhớ và chi phí, triển khai dịch vụ và lựa chọn hạ tầng.
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter ra mắt bản Beta bản địa hóa 7 ngôn ngữ gồm tiếng Trung giản thể, tiếng Nhật, đồng thời giải thích chi tiết…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter công bố bài phân tích lượng tử hóa, giải thích nguyên lý lượng tử hóa LLM và báo cáo kết quả thử nghiệm…
OpenRouter phát hành hướng dẫn giải thích ba cách lấy đầu ra có cấu trúc đáng tin cậy từ bất kỳ LLM nào: gửi JSON…
Sarvam AI ra mắt dịch vụ suy luận Token Factory, cung cấp các mô hình trọng số mở như Sarvam 105B, GLM 5.3, DeepSeek…
OpenClaw tái cấu trúc cách lấy danh sách mô hình, khoảng năm tuần, 80 PR, mô hình mới không còn phải chờ bản phát hành…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
Nhóm SGLang phối hợp với Cloudflare công bố vấn đề lộ KVCache giữa các yêu cầu ảnh hưởng đến @cf/zai-org/glm-5.3 trên…
Wiz phát hiện phiên bản độc hại LiteLLM 1.107.0 được tải lên PyPI lúc 11:39 UTC ngày 21 tháng 10, bị cách ly lúc 1:20…
Ant Group và cộng đồng vLLM mở mã nguồn thư viện kernel suy luận lượng tử hóa hiệu năng cao phổ quát Humming, kho lưu…
Google và Meta đồng mã nguồn mở TorchTPU, cung cấp backend PyTorch gốc cho Google TPU, mô hình chỉ cần đổi .to("cuda")…
Dự án suy luận mã nguồn mở llm-d do IBM, Red Hat và Google chủ trì đã ra mắt llm-d 1.0 tại PyTorch Conference North…
DeepSeek công bố mã nguồn mở toàn diện khung suy luận nội bộ DeepInfer, đồng thời mã nguồn mở thành phần mã hóa giải…
Nhóm MiniCPM-V của ModelBest giới thiệu công nghệ lập lịch chuyên gia tiên đoán (LES) hỗ trợ MiniCPM-V 4.7 chạy trên…
Google ra mắt bản fork TorchTitan TPU (github.com/google-pytorch/torchtitan), kết hợp backend gốc TorchTPU để huấn…
Trong thông báo liên quan đến PyTorch, Google ra mắt engine suy luận PyTorch gốc vLLM và SGLang dựa trên TorchTPU,…
Modal phát hành Sticky Sessions, dựa trên Modal Servers để mọi yêu cầu trong cùng phiên được định tuyến cố định đến…
Blog n8n phát hành hướng dẫn cách triển khai bảy mô hình cục bộ trên một NVIDIA DGX Spark (128GB bộ nhớ hợp nhất),…
Meta giới thiệu siêu cụm Prometheus cấp gigawatt tại New Albany, Ohio; giai đoạn một đã hoàn thành và dùng để huấn…
AWS công bố TorchNeuron, backend PyTorch gốc mã nguồn mở dành cho Trainium, bắt đầu thử nghiệm công khai vào ngày 20…
Nhóm SGLang ra mắt Low-Latency Mode, đưa vào các kernel chuyên dụng thông qua khung plugin, giúp giảm đáng kể độ trễ…
Kazik (Digital Life) chia sẻ trải nghiệm sử dụng sâu một tuần với ASUS ProArt 16 (chip RTX Spark N1X, 128G bộ nhớ hợp…
vLLM công bố hỗ trợ Day 0 cho mô hình Beam của Reflection, một mô hình MoE 501B tham số với 23B tham số kích hoạt mỗi…
AMD và Embedded LLM trên blog chính thức của vLLM giải thích chi tiết tối ưu suy luận của Kimi K3 trên tám card AMD…
Ant Ling chính thức mã nguồn mở Ling-3.1-flash, tổng tham số khoảng 560B, kích hoạt khoảng 25B mỗi Token, hỗ trợ ngữ…
Nhóm nghiên cứu học máy của Apple trình diễn cách chạy cục bộ trên Mac Studio các mô hình tiên tiến gần một nghìn tỷ…
Nhóm SGLang công bố hỗ trợ suy luận Day-0 cho Muse Spark Open, mô hình MoE đa phương thức mã nguồn mở của Meta (816B…
Databricks trình diễn thông qua tối ưu hiệu năng có hệ thống, rút ngắn thời gian tinh chỉnh Qwen 3.8 27B trên AI…
vLLM hỗ trợ mở rộng confidence scoring cho tất cả các loại suy luận suy đoán dựa trên mô hình nháp, thông qua hồi quy…
Modal thông báo doanh thu thường niên vượt 1 tỷ USD và hoàn tất vòng gọi vốn D trị giá 750 triệu USD, định giá sau đầu…
LangChain phát hành tích hợp langchain-scaledown, đồng thời hỗ trợ mô hình giải mã ràng buộc (CDM) của ScaleDown trong…
Anthropic công bố đánh giá kỹ thuật, cho biết do Claude khiến lượng mã hợp nhất trung bình mỗi ngày tăng từ khoảng…
Microsoft công bố từ năm sau sẽ mở rộng dòng chip Maia lên quy mô triển khai nhiều gigawatt, trở thành hệ thống suy…
Tác giả blog ComfyUI dùng tác nhân AI thu thập các tối ưu hóa, đưa tính năng tạo video thời gian thực của MiniMax H3…
Goodfire Research xây dựng chuỗi giám sát dựa trên đầu dò kích hoạt kết hợp LLM judge cho Kimi K3 và GLM 5.3, đồng…
Inferact và cộng đồng vLLM hoàn thành tối ưu trong ba tuần sau khi DeepSeek-V4.1-Flash ra mắt, tốc độ ở độ đồng thời…
GitHub thông báo xây dựng lại hạ tầng Git nhằm hỗ trợ tải đọc ghi đồng thời cao do phát triển quy mô tác nhân mang…
Together AI phát hành Together Link, kết nối công cụ tác nhân lập trình nhóm đang dùng với mô hình mã nguồn mở trên…
Kỹ sư Baseten tham khảo bài báo MetaInfer, để Claude Code (Fable 5) tự động xây dựng công cụ suy luận VibeQwen cho…
Quảng cáo
Orange Relay (pro.nat6.net) là một trạm trung chuyển AI API chất lượng cao: giá cả ưu đãi, chất lượng ổn định và đầy đủ các mô hình, hỗ trợ Claude, GPT, Gemini.
Truy cập Orange Relay