제품 및 앱

고효율 오프라인 추론 프레임워크 Flood: 처리량 크게 앞서며 멀티모달·양자화 지원

원제목:inclusionAI/flood

AI 요약

Flood는 오프라인 애플리케이션을 위한 고효율 대규모 언어 모델 추론 프레임워크다. 파이프라인 병렬 처리를 통해 통신 오버헤드를 줄이고, 세그먼트식 KV 캐시 관리로 연속성을 높인다. 연속 배치 처리, 청크 프리필, FP8/INT8 양자화 및 멀티모달 모델 추론을 지원한다. 성능 테스트 결과 다양한 모델과 하드웨어에서 처리량이 최대 vLLM의 2.4배에 달했다. 전용 커널 SegmentAttention은 긴 시퀀스 처리 시 디코딩 속도가 FlashAttention 대비 최대 3.16배 향상되었다. 이 프로젝트는 2025년 3월 오픈소스화되어 빠르게 반복되고 있으며, 이미 예측 디코딩 등 신기능을 지원한다.

핵심 정보

  • Flood는 오프라인 애플리케이션을 위한 고효율 대규모 언어 모델 추론 프레임워크다.
  • 파이프라인 병렬 처리를 통해 통신 오버헤드를 줄이고,세그먼트식 KV 캐시 관리로 연속성을 높인다.
  • 연속 배치 처리,청크 프리필,FP8/INT8 양자화 및 멀티모달 모델 추론을 지원한다.
  • 성능 테스트 결과 다양한 모델과 하드웨어에서 처리량이 최대 vLLM의 2.
  • 4배에 달했다.

한눈에 보기

게시
업데이트
출처
蚂蚁 inclusionAI:GitHub 新仓库
카테고리
제품 및 앱
AI 점수
61
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 고효율 오프라인 추론 프레임워크 Flood: 처리량 크게 앞서며 멀티모달·양자화 지원. 2026년 1월 30일. https://new.nat6.net/ko/news/cmorb7ik3006sslhfoasz9t4c/

전체 보기 →