AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
หัวข้อวิศวกรรมการติดตั้งพูดถึงวิธีทำให้โมเดลทำงานเร็วขึ้นและประหยัดขึ้น ทั้งการเร่งการอนุมาน การปรับหน่วยความจำและต้นทุน การติดตั้งบริการ การตรวจสอบและ observability เหมาะสำหรับวิศวกรที่ดูแลการเปิดใช้งานและปฏิบัติการ เพื่ออ้างอิงแนวทางและข้อมูลทดสอบจริงก่อนเลือกเทคโนโลยี ช่วยลดต้นทุนการลองผิดลองถูก เนื้อหาหลักคือแนวทางที่ทำซ้ำได้และข้อมูลจริง
วิธีทำให้โมเดลทำงานเร็วขึ้นและประหยัดต้นทุนมากขึ้น: การเร่งความเร็วการอนุมาน หน่วยความจำกราฟิกและต้นทุน การติดตั้งใช้งานบริการและการเลือกโครงสร้างพื้นฐาน
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter เปิดตัวการแปลภาษา Beta 7 ภาษา ได้แก่ จีนตัวย่อและญี่ปุ่น…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter เผยแพร่บทความวิเคราะห์การควอนไทซ์ อธิบายหลักการควอนไทซ์ของ LLM และรายงานผลการทดสอบเมื่อวันที่ 20 ตุลาคม…
OpenRouter เผยแพร่บทช่วยสอนอธิบายสามวิธีในการรับเอาต์พุตแบบมีโครงสร้างที่เชื่อถือได้จาก LLM ใดก็ได้: ส่ง JSON Schema…
Sarvam AI เปิดตัวบริการอนุมาน Token Factory โดยให้บริการโมเดลน้ำหนักแบบเปิด เช่น Sarvam 105B, GLM 5.3, DeepSeek V4.1…
OpenClaw ปรับโครงสร้างวิธีการดึงรายการโมเดล ใช้เวลาประมาณห้าสัปดาห์และ 80 PR…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
ทีม SGLang ร่วมกับ Cloudflare เปิดเผยปัญหา KVCache รั่วไหลระหว่างคำขอ ซึ่งส่งผลกระทบต่อ @cf/zai-org/glm-5.3 บน Workers…
Wiz เปิดเผยว่าเมื่อวันที่ 21 ตุลาคม เวลา 11:39 UTC มีเวอร์ชันอันตราย LiteLLM 1.107.0 ถูกอัปโหลดขึ้น PyPI…
Ant Group และชุมชน vLLM เปิดตัว Humming ไลบรารีเคอร์เนลการอนุมานแบบควอนไทซ์ประสิทธิภาพสูงทั่วไปแบบโอเพนซอร์ส ที่…
Google และ Meta ร่วมกันเปิดโอเพนซอร์ส TorchTPU แบ็กเอนด์ PyTorch แบบเนทีฟสำหรับ Google TPU โดยโมเดลเพียงเปลี่ยน…
llm-d โปรเจกต์อนุมานโอเพนซอร์สที่นำโดย IBM, Red Hat และ Google เปิดตัว llm-d 1.0 ในงาน PyTorch Conference North…
DeepSeek ประกาศเปิดโอเพนซอร์สเฟรมเวิร์กอินเฟอเรนซ์ภายใน DeepInfer อย่างเต็มรูปแบบ…
ทีม MiniCPM-V ของ ModelBest แนะนำเทคโนโลยีการจัดตารางผู้เชี่ยวชาญล่วงหน้า (LES) ที่รองรับการรัน MiniCPM-V 4.7…
Google เปิดตัว TorchTitan TPU fork (github.com/google-pytorch/torchtitan) พร้อมแบ็กเอนด์ TorchTPU…
Google ประกาศในประกาศที่เกี่ยวข้องกับ PyTorch ว่าได้เปิดตัวเอนจินการอนุมาน PyTorch แบบเนทีฟสำหรับ vLLM และ SGLang…
Modal เปิดตัว Sticky Sessions ซึ่งอาศัย Modal Servers…
บล็อก n8n เผยแพร่บทช่วยสอนอธิบายวิธีติดตั้งโมเดลภายในเครื่องเจ็ดโมเดลบน NVIDIA DGX Spark หนึ่งเครื่อง (หน่วยความจำรวม…
Meta เปิดเผย Prometheus ซูเปอร์คลัสเตอร์ระดับกิกะวัตต์ใน New Albany รัฐโอไฮโอ…
AWS ประกาศเปิดตัว TorchNeuron แบ็กเอนด์ PyTorch แบบเนทีฟโอเพนซอร์สสำหรับ Trainium โดยเปิดทดสอบสาธารณะเมื่อวันที่ 20…
ทีม SGLang เปิดตัว Low-Latency Mode ซึ่งนำเคอร์เนลเฉพาะทางมาผ่านกรอบปลั๊กอิน…
Digital Life Kazek แบ่งปันประสบการณ์ใช้งาน Asus ProArt 创16 (ชิป RTX Spark N1X, หน่วยความจำรวม 128G, ราคา 37999 หยวน) อย…
vLLM ประกาศรองรับโมเดล Beam ของ Reflection ตั้งแต่ Day 0 ซึ่งเป็นโมเดล MoE ขนาด 501B พารามิเตอร์ เปิดใช้งาน 23B…
AMD และ Embedded LLM อธิบายรายละเอียดการปรับแต่งการอนุมาน Kimi K3 บน AMD Instinct MI355X…
Ant Ling เปิดโอเพนซอร์ส Ling-3.1-flash อย่างเป็นทางการ มีพารามิเตอร์รวมประมาณ 560B เปิดใช้งานประมาณ 25B ต่อโทเคน…
ทีมวิจัยแมชชีนเลิร์นนิงของ Apple สาธิตการรันโมเดล前沿อย่าง Muse Spark Open ที่มีพารามิเตอร์เกือบหนึ่งล้านล้านในเครื่องบน…
ทีม SGLang ประกาศให้การสนับสนุนการอนุมาน Day-0 สำหรับ Muse Spark Open โมเดล MoE มัลติมัลติมัลโอเพนซอร์สของ Meta (816B…
Databricks สาธิตการปรับแต่งประสิทธิภาพอย่างเป็นระบบ ซึ่งลดเวลาปรับแต่ง Qwen 3.8 27B บน AI Runtime จาก 7 ชั่วโมง 44…
vLLM รองรับการขยาย confidence scoring ไปยังการคาดเดาแบบอิงโมเดลร่างทุกประเภท…
Modal ประกาศว่ามีรายได้ต่อปีทะลุ 1 พันล้านดอลลาร์ และระดมทุนรอบ D ได้ 750 ล้านดอลลาร์ มูลค่าหลังการลงทุน 15.75…
LangChain เปิดตัวการเชื่อมต่อ langchain-scaledown และรองรับโมเดลถอดรหัสแบบมีข้อจำกัด (CDM) ของ ScaleDown ใน LangSmith…
Anthropic เผยแพร่บทสรุปงานวิศวกรรม เนื่องจาก Claude ทำให้ปริมาณโค้ดที่รวมต่อวันเพิ่มจากราว 2,500 ในเดือนพฤษภาคม 2026…
Microsoft ประกาศว่าจะขยายตระกูลชิป Maia ไปสู่การติดตั้งระดับหลายกิกะวัตต์ตั้งแต่ปีหน้า…
ผู้เขียนบล็อก ComfyUI ใช้เอเจนต์ AI รวบรวมการปรับแต่งต่างๆ เพื่อบีบการสร้างวิดีโอแบบเรียลไทม์ด้วย MiniMax H3…
Goodfire Research สร้างระบบเฝ้าระวังแบบคาสเคดที่ใช้ activation probe ร่วมกับ LLM judge สำหรับ Kimi K3 และ GLM 5.3…
Inferact และชุมชน vLLM ปรับแต่ง DeepSeek-V4.1-Flash เสร็จภายในสามสัปดาห์หลังเปิดตัว ความเร็วที่ concurrence ต่ำเพิ่มขึ้…
GitHub ประกาศสร้างโครงสร้างพื้นฐาน Git ใหม่เพื่อรองรับภาระการอ่านเขียนที่มีความพร้อมสูงจากการพัฒนาขนาดเอเจนต์…
Together AI เปิดตัว Together Link เชื่อมเครื่องมือเอเจนต์เขียนโค้ดที่ทีมใช้อยู่เข้ากับโมเดลโอเพนซอร์สบน Together AI…
วิศวกร Baseten อ้างอิงบทความ MetaInfer ให้ Claude Code (Fable 5) สร้างเอนจินอนุมาน VibeQwen สำหรับ Qwen-3.6-35B-A3B…
โปรโมชัน
Orange Relay (pro.nat6.net) เป็นสถานีส่งต่อ AI API คุณภาพสูง: ราคาประหยัด คุณภาพเสถียร และมีโมเดลครบถ้วน รองรับ Claude, GPT, Gemini
ไปที่ Orange Relay