바이트댄스의 SeedRealtime는 전이중 오디오 및 비디오를 동시에 처리합니다

ByteDance는 실시간 AI 상호작용을 위한 전이중 오디오-비디오 모델 **SeedRealtime**을 출시했습니다. Seedance(장편 비디오 생성)와는 달리, 이는 동시에 듣고 말하는 대화형 AI로 실시간 비디오 입력을 지원합니다.

간단히 말해:

바이트댄스가 오디오와 비디오 입출력을 동시에 처리하는 AI 모델을 출시했습니다. 듣기와 말하기 모드를 전환할 필요가 없습니다. 이는 실시간 대화가 실제로 요구하는 구조입니다.

사실

바이트댄스가 Tech in Asia에 따르면, SeedRealtime이라는 실시간 AI 상호작용을 위한 전이중 오디오-비주얼 모델을 출시했다고 합니다. 전이중은 동시에 양방향 스트리밍을 의미합니다. 즉, 입력과 출력 오디오 및 비디오가 번갈아 처리되는 것이 아니라 병렬로 실행됩니다. 이는 바이트댄스의 Seedance(장편 비디오 생성 모델)와는 다릅니다. SeedRealtime은 대화 및 실시간 상호작용 사용 사례를 목표로 합니다.

우리의 의견

전이중은 어려운 부분입니다. 대부분의 음성 AI 시스템은 반이중입니다. 입력받고 응답을 생성한 다음 다시 듣기 모드로 전환합니다. 현재 음성 비서의 지연과 어색한 중단은 이 구조에서 직접 비롯됩니다. SeedRealtime은 오픈AI(GPT-4o Advanced Voice), 구글(Gemini Live), 일레븐랩스가 초기 위치를 구축한 영역에 진입하지만, 실시간으로 비디오 입력을 멀티모달로 추가했다는 점에서 차별화됩니다. 상업적 사용 사례는 명확합니다: 실시간 번역, 실시간 고객 서비스, AI companion 앱. 경쟁 신호도 clearer합니다: 바이트댄스는 실시간 멀티모달 레이어를 미국 연구소에 양보하지 않을 것입니다.

주시할 점

지연 시간 벤치마크와 대규모 API 가격 책정. 전이중은 데모에서 구현할 수 있지만, 대규모 동시 세션에서 저렴하게 유지하는 것이 실제 공학적 과제입니다.