AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
デプロイ工学テーマでは、モデルをより速く安く動かす方法を議論します。推論高速化、VRAM とコストの最適化、サービス運用、監視と可観測性などを扱い、運用や保守を担うエンジニアが具体的な手法と実測データを参考に技術選定できるよう、再現可能な内容を中心にまとめます。
モデルをより速く安く動かす方法:推論高速化、VRAMとコスト、サービスデプロイとインフラ選定。
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouterは簡体字中国語や日本語など7言語のベータ版ローカライズを公開し、併せて自己修正型翻訳パイプラインの詳細を明らかにした。GPT-6.1 Solが16,918件の文字列を翻訳し、コードチェック、同一モデルによる検証、毎日の…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter は量子化の解説記事を公開し、LLM 量子化の原理を説明するとともに、2026 年 10 月 20 日に 1455 のプロバイダーエンドポイントと Qwen3.8 27B の 6 エンドポイントで実施した実測結果を報告…
OpenRouterはチュートリアルを公開し、任意のLLMから信頼性の高い構造化出力を得る3つの方法を解説した。structured outputs対応モデルには厳密なJSON Schemaを送信し、ツールのみ対応のモデルには単一のツール…
Sarvam AI は Token Factory 推論サービスを発表し、インドにある GPU クラスタから OpenAI 互換 API を通じて Sarvam 105B、GLM 5.3、DeepSeek V4.1 Flash 1017、…
OpenClawはモデルリストの取得方法を再構築し、約5週間・80件のPRを経て、新モデルがクライアントのリリースを待たずに利用できるようになった。現在、モデルリストは3か所から取得する。4時間ごとに再構築されるcatalog.openc…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
SGLang チームは Cloudflare と協調し、2026年8月27日から9月9日まで Workers AI 上の @cf/zai-org/glm-5.3 に影響したリクエスト間 KVCache 露出問題を開示した。
Wizは、10月21日11:39 UTCに悪意あるバージョンのLiteLLM 1.107.0がPyPIにアップロードされ、1:20 UTCに隔離されたと公表した。GHCRとDocker Hubの関連イメージタグにも仕込まれ、13:53 U…
Ant GroupとvLLMコミュニティは、汎用高性能量子化推論カーネルライブラリHummingをオープンソース化した。リポジトリはgithub.com/vllm-project/humming。
Google と Meta は TorchTPU を共同でオープンソース化し、Google TPU 向けのネイティブ PyTorch バックエンドを提供した。モデルは .to("cuda") を .to("tpu") に変更するだけでその…
IBM、Red Hat、Google などが主導するオープンソース推論プロジェクト llm-d は、PyTorch Conference North America で llm-d 1.0 をリリースした。これは Kubernetes ネ…
DeepSeek は内部推論フレームワーク DeepInfer を全面オープンソース化すると発表し、あわせて本番環境向け Token エンコード・デコードコンポーネント deepseek-recipe もオープンソース化した。
面壁智能のMiniCPM-Vチームは、MiniCPM-V 4.7の端末動作を支える先読みエキスパートスケジューリング(LES)技術を紹介した。35B-A3B規模のMoEを端末側でリアルタイムかつ無損失に動作させることを初めて実現したとし、…
GoogleはTorchTitan TPUフォーク(github.com/google-pytorch/torchtitan)を公開した。TorchTPUネイティブバックエンドと組み合わせてCloud TPU上でPyTorchモデルをトレ…
GoogleはPyTorch関連の発表で、TorchTPUに基づくvLLMとSGLangのネイティブPyTorch推論エンジンを発表した。それぞれInferact、RadixArkと共同開発し、開発者が使い慣れたPyTorchツールでTP…
Modal は Sticky Sessions をリリースした。Modal Servers に基づき、同一セッションの全リクエストを固定で同一コンテナにルーティングする。@modal.sessioned() デコレータと SDK または…
n8nブログはチュートリアルを公開し、1台のNVIDIA DGX Spark(128GB統合メモリ)上に7つのローカルモデルを展開し、LiteLLMの単一のOpenAI互換エンドポイントでn8nワークフローを駆動、クラウドAPIを一切呼び…
Meta はオハイオ州 New Albany にあるギガワット級スーパークラスタ Prometheus を紹介した。第 1 期はすでに完成し、Muse シリーズ基盤モデルのトレーニングに使われており、約 100 万 GPU への拡張を目指…
AWS は Trainium 向けのオープンソースネイティブ PyTorch バックエンド TorchNeuron を発表した。10 月 20 日に Apache 2.0 ライセンスで PyTorch Conference North A…
SGLangチームはLow-Latency Modeを発表した。プラグインフレームワークを通じて専用カーネルを導入し、NVIDIA GB300とAMD MI355X GPUで推論遅延を大幅に低減する。
デジタル生命カズク氏はASUS ProArt創16(RTX Spark N1Xチップ、128Gユニファイドメモリ、37999元)の1週間の詳細な使用体験を共有した。このマシンは世界発売時に128G版が京東で数分以内に完売した。
vLLM は Reflection の Beam モデルを Day 0 からサポートすると発表した。501B パラメータ、トークンあたり 23B を活性化する MoE モデルで、NVIDIA Blackwell 上で最適化を完了している。
AMD と Embedded LLM が vLLM 公式ブログで、8 基の AMD Instinct MI355X 上での Kimi K3 推論最適化を詳しく解説した。
Ant Bailing は Ling-3.1-flash を正式にオープンソース化した。総パラメータは約560B、Token あたりのアクティブパラメータは約25B、最大1M のコンテキストに対応し、重みは Hugging Face と…
Apple の機械学習研究チームは、Mac Studio 上でローカルに約 1 兆パラメータの Muse Spark Open などの最先端モデルを実行する方法を実演した。本日公開された新版 MLX(v0.30.1 以降)と macOS…
SGLangチームは、MetaのオープンソースマルチモーダルMoEモデルMuse Spark Open(816Bパラメータ、約42Bアクティブ、1Mトークンコンテキスト)にDay-0推論サポートを提供すると発表した。重みはNVFP4とBF…
Databricks は体系的な性能最適化により、Qwen 3.8 27B の AI Runtime 上でのファインチューニング時間を 7 時間 44 分から 1 時間 17 分に短縮し、6 倍高速化したことを示した。
vLLM は confidence scoring をドラフトモデルに基づくすべての投機タイプに拡張した。オンライン適合のロジスティック回帰により、ドラフトモデルの logits から logit(q_max) 特徴を導出してターゲットモ…
Modal は年換算収益が10億ドルを突破し、7.5億ドルのシリーズD資金調達を完了したと発表した。投資後評価額は157.5億ドルで、Accel がリードし、Kleiner Perkins と既存投資家が参加した。
LangChainはlangchain-scaledown統合をリリースし、LangSmith LLM GatewayでScaleDownの制約付きデコーディングモデル(CDM)をサポートした。長時間稼働するAgentのコンテキスト管理に…
Anthropic はエンジニアリングの振り返りを公開した。Claude により 1 日あたりのマージコード量が 2026 年 5 月の約 2,500 から 9 月には 30,000 超に増加したため、5 か月で独自のバージョン管理システ…
Microsoft は来年から Maia チップファミリーを数ギガワット級の展開に拡大し、自社製品とサービスの優先推論システムとすることを発表した。あわせて Maia 300 を発表し、ワットあたりのトークン生成量は主流の GPU システ…
ComfyUI ブログの筆者はエージェントを使って各種最適化を収集し、MiniMax H3 のリアルタイム動画生成を1枚の RTX 5090(32 GB メモリ)で実行できるまでに圧縮した。30秒の動画生成に23.51秒かかり、1.28倍…
Goodfire Research は Kimi K3 と GLM 5.3 向けに、アクティベーションプローブと LLM judge を組み合わせたモニタリングカスケードを構築し、本番推論スタックに展開した。
Inferact と vLLM コミュニティは DeepSeek-V4.1-Flash のリリースから3週間で最適化を完了し、低並列時の速度を1.9倍、150 TPS 制約下のスループットを5.3倍に向上させた。
GitHubは、エージェント規模の開発がもたらす高並行の読み書き負荷を支えるため、Gitインフラを再構築すると発表した。2026年8月のGitHubの月間Gitイベント数は473.3 billion(1年で2倍以上)に達し、9月にはエージ…
Together AI は Together Link をリリースした。チームがすでに使用しているコーディングエージェントツールを Together AI 上のオープンソースモデルに接続し、支出を 50% 以上削減できると謳っている。
BasetenのエンジニアがMetaInfer論文を参考に、Claude Code(Fable 5)でQwen-3.6-35B-A3B(NVFP4、B200 1枚)向けの推論エンジンVibeQwenを自動構築した。単一ストリームのデコード…
PR
Orange Relay(pro.nat6.net)は高品質な AI API 中継サービスです。リーズナブルな価格、安定した品質、Claude・GPT・Gemini など主要モデルに幅広く対応しています。
Orange Relay を見る