LongCat-Video-Avatar-1.5: 업그레이드된 오디오 기반 디지털 휴먼 영상 생성 프레임워크
원제목:meituan-longcat/LongCat-Video-Avatar-1.5
AI 요약
메이투안 LongCat 팀이 오디오 기반 디지털 휴먼 영상 생성에 특화된 오픈소스 프레임워크 LongCat-Video-Avatar-1.5를 발표했다. 핵심 업그레이드는 Whisper-Large 오디오 인코더를 채택해 입술 움직임의 유연성과 자연스러움을 크게 개선한 것이다. 이 버전은 정밀한 립싱크, 전신 시간적 안정성, 장시간 영상에서의 정체성 일관성을 구현하며, 애니메이션, 동물, 다인 상호작용 등 복잡한 장면에도 일반화해 적용할 수 있다. DMD2 기반 스텝 증류 기술을 통해 모델은 단 8스텝으로 효율적으로 추론한다. 팀은 또한 다중 장면, 다국어를 아우르는 인적 평가 벤치마크를 구축해 대규모 주관적 평가와 전문가 분석을 통해 여러 핵심 차원에서 뛰어난 성능을 검증했다.
핵심 정보
- 메이투안 LongCat 팀이 오디오 기반 디지털 휴먼 영상 생성에 특화된 오픈소스 프레임워크 LongCat-Video-Avatar-1.
- 5를 발표했다.
- 핵심 업그레이드는 Whisper-Large 오디오 인코더를 채택해 입술 움직임의 유연성과 자연스러움을 크게 개선한 것이다.
- 이 버전은 정밀한 립싱크,전신 시간적 안정성,장시간 영상에서의 정체성 일관성을 구현하며,애니메이션,동물,다인 상호작용 등 복잡한 장면에도 일반화해 적용할 수 있다.
- DMD2 기반 스텝 증류 기술을 통해 모델은 단 8스텝으로 효율적으로 추론한다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 모델 출시
- AI 점수
- 73
美团把数字人模型升级到1.5版,换了Whisper做音频编码,唇形同步比之前自然不少,而且开源了训练代码,做电商直播和虚拟博主的朋友可以直接拿过来跟商业方案掰手腕。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: LongCat-Video-Avatar-1.5: 업그레이드된 오디오 기반 디지털 휴먼 영상 생성 프레임워크. 2026년 5월 21일. https://new.nat6.net/ko/news/cmpfoox6408bdsljwnbdhvasf/