ByteDance의 멀티모달 임베딩 모델: 플랫폼 네이티브한 표현 학습의 모습

ByteDance는 Douyin 다중 모달 임베딩 모델에 대한 기술 보고서를 발표했다. 이 아키텍처 선택은 콘텐츠 플랫폼이 연구실과는 다르게 표현을 훈련하는 방법을 보여준다.

간단히 말해:

바이트댄스의 더우인(抖音) 다중모달 임베딩 모델은 일반 이미지-텍스트 쌍이 아닌, 수십억 사용자를 서비스하는 플랫폼의 실제 콘텐츠 분포에 맞춰 훈련됩니다. 기술 보고서는 플랫폼 고유의 훈련 접근 방식을 명확히 설명합니다.

일반 데이터셋(LAION, COCO, 표준 학술 코퍼스)으로 훈련된 다중모달 임베딩 모델은 벤치마크 작업에 유용한 표현을 학습합니다. 반면 플랫폼에서 훈련된 모델은 대상 분포에서 실제 참여, 관련성, 만족도를 예측하는 데 필요한 것을 학습합니다. 더우인의 경우, 이는 대규모 단편 콘텐츠의 비디오-오디오-텍스트 삼중항을 의미하며, 이는 어떤 학술 벤치마크도 재현하지 못하는 훈련 신호입니다.

기술 보고서는 교차모달 정렬, 만다린어 중심 텍스트-시각 쌍 처리, 더우인의 쿼리 볼륨에서 임베딩 요청을 서비스하기 위한 추론 최적화 등 아키텍처 결정 사항을 문서화합니다.

결론: 추천 또는 검색 시스템을 구축하는 팀에게는 임베딩 모델이 검색 아키텍처만큼 중요하며, 플랫폼에서 훈련된 임베딩이 분포 내 쿼리에서 일반 임베딩보다 우수한 성능을 보입니다. 바이트댄스가 기술 보고서를 공개한 것은 참조 아키텍처로서뿐만 아니라 이 접근 방식이 영업 비밀이 아닌 방어 가능한 방법으로他们认为 유용하다는 신호로도 볼 수 있습니다.