SoundscapeAgent: 제어 가능한 합성과 확장 가능한 오디오-언어 슈퍼비전을 위한 에이전트 기반 사운드스케이프 구성

연구진은 제어 가능한 사운드스케이프 합성을 위한 LLM 기반 프레임워크 SoundscapeAgent를 제안했다.

이 시스템은 사용자 의도를 실행 가능한 장면 계획으로 바꿔 다중 이벤트 오디오 생성, 자산 검색·생성, 시간적 배치를 수행한다.

또한 사람 개입 편집과 정렬된 메타데이터 내보내기를 지원해 더 검토 가능한 오디오 생성을 가능하게 한다.

실험에서는 높은 합성 성능과 함께, 에이전트가 생성한 데이터가 하위 오디오 추론 성능을 향상시키는 것으로 나타났다.