チュートリアル

コンテキスト検索の導入:RAGシステムの精度を大幅に向上させる新手法

原題:Introducing Contextual Retrieval

AI 要約

従来のRAGシステムはエンコード時にコンテキストを失いやすく、検索失敗を招く。新手法「コンテキスト検索」は「コンテキスト埋め込み」と「コンテキストBM25」の2つのサブ技術により、検索前にテキストブロックへ説明的コンテキストを追加し、検索失敗回数を49%削減、リランキングと組み合わせると最大67%削減し、下流タスクの性能を大幅に向上させる。20万トークン未満の小規模知識ベースでは、その完全な内容をプロンプトに直接入れることができ、Claudeのプロンプトキャッシュ機能と組み合わせることで、2倍以上のレイテンシ削減と最大90%のコスト削減を実現する。大規模知識ベースでは、コンテキスト検索がスケーラブルなソリューションを提供する。

要点

  • 従来のRAGシステムはエンコード時にコンテキストを失いやすく、検索失敗を招く。
  • 新手法「コンテキスト検索」は「コンテキスト埋め込み」と「コンテキストBM25」の2つのサブ技術により、検索前にテキストブロックへ説明的コンテキストを追加し、検索失敗回数を49%削減、リランキングと組…
  • 20万トークン未満の小規模知識ベースでは、その完全な内容をプロンプトに直接入れることができ、Claudeのプロンプトキャッシュ機能と組み合わせることで、2倍以上のレイテンシ削減と最大90%のコスト削…
  • 大規模知識ベースでは、コンテキスト検索がスケーラブルなソリューションを提供する

概要

公開日時
更新日時
出典
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
カテゴリ
チュートリアル
AI スコア
72
原文を読む 情報源で全文を読む
おすすめの理由

Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:コンテキスト検索の導入:RAGシステムの精度を大幅に向上させる新手法。2024年9月19日。https://new.nat6.net/ja/news/cmorb7ml1008tslhfm0c04uo4/

すべて見る →