SeamlessStreaming
SeamlessStreaming은 동시번역(음성-음성)에 약 2초의 지연 시간과, 오프라인 모델과
거의 동일한 정확도로 번역을 제공하는 최초의 대규모 다국어 모델입니다.
SeamlessM4T v2를 기반으로 구축된 SeamlessStreaming은
거의 100개 입력 언어와 36개 출력 언어에 대한 음성-음성 번역 외에도
거의 100개 입력 및 출력 언어에 대한 자동 음성 인식 및 음성-텍스트 번역을 지원합니다.
※2초의 지연시간은 사실상 인간 동시통역가가 옆에 붙어있는것과 같은 수준
https://ai.meta.com/resources/models-and-libraries/seamless-communication-models/#seamlessstreaming
SeamlessExpressive
번역은 인간 표현의 뉘앙스를 포착해야 합니다.
기존 번역 도구는 대화 내 콘텐츠를 캡처하는 데 능숙하지만
일반적으로 출력을 위해 단조로운 로봇식 텍스트 음성 변환 시스템에 의존합니다.
SeamlessExpressive는 말의 복잡성을 보존하는 것을 목표로 합니다.
보컬 스타일과 감정적인 톤 외에도 일시정지, 말하는 속도 등이 포함됩니다.
https://seamless.metademolab.com/expressive
SeamlessM4T
메타는 2023년 8월에, 음성과 텍스트 전반에 걸쳐 번역 및 전사에 대한 최첨단 결과를 제공하는
기본 다국어 및 멀티태스킹 모델인 SeamlessM4T의 첫 번째 버전을 출시했었습니다.
이 작업을 바탕으로 개선된 모델인 SeamlessM4T v2는
새로운 SeamlessExpressive 및 SeamlessStreaming 모델의 기반이 됩니다.
업그레이드된 기본 다중 언어 및 다중 작업 모델인 SeamlessM4T v2는 자동 회귀가 아닌
텍스트 단위 디코더를 갖추고 있습니다.
w2v-BERT 2.0 인코더는 100만 시간 동안 훈련된 이전 버전과 비교하여 450만 시간의 음성 데이터로 훈련되었습니다.
또한 SeamlessM4T v2는 자원이 적은 언어에 대해 SeamlessAlign의 더 많은 데이터로 보완됩니다.
SeamlessM4T v2는 자동 측정항목(BLEU, ASR-BLEU, BLASER 2 등)을 사용하여 모든 작업 및 언어에 걸쳐
철저하게 평가되었으며, 이전 최첨단 모델보다 훨씬 뛰어난 성능을 보였습니다.
또한 견고성, 편견 및 환각 독성에 대한 테스트도 거쳤습니다.
Seamless
Seamless는 SeamlessM4T v2의 품질과 다국어 지원, SeamlessStreaming의 낮은 대기 시간,
SeamlessExpressive의 표현 보존 기능을 하나의 통합 시스템으로 통합합니다.
이는 시스템이 부분 입력에만 액세스할 수 있는 스트리밍에서 특히 어려울 수 있는
보컬 스타일과 운율을 모두 유지하는 최초의 스트리밍 번역 모델입니다.
https://github.com/facebookresearch/seamless_communication
현재 모델이 공개되어서 관심이 있으면 데모를 시연해보거나 코랩 등으로 직접 돌려볼수도 있습니다.
그리고 최근 메타 AI 10주년 행사에서 퀘스트3에서 단독으로 실시간 번역기능이 로컬로 실행되었습니다.
저커버그가 기술대중화에 투자는 진짜 아낌없이 하는듯. 자금회수는 어케 하고 잇는지 의문이지만.
어떻게든 님이하는 대화 엿들어서 광고하는걸로요
팬티가 떨어지면 팬티 광고를 넣어주는건가
한동안 집구하려고 여기저기 돌아다니는 동안 인스타에서 집광고 주구장창보여주더니 집계약하고 온 그날부터 가구,인테리어 광고 보여주는거 소름이었음
저커버그가 기술대중화에 투자는 진짜 아낌없이 하는듯. 자금회수는 어케 하고 잇는지 의문이지만.
모데카이징
어떻게든 님이하는 대화 엿들어서 광고하는걸로요
ShadowLink
팬티가 떨어지면 팬티 광고를 넣어주는건가
모데카이징
한동안 집구하려고 여기저기 돌아다니는 동안 인스타에서 집광고 주구장창보여주더니 집계약하고 온 그날부터 가구,인테리어 광고 보여주는거 소름이었음
텍스트 단위 디코딩이면 단순번역인 듯 .
통번역 포기하길 잘 했단 생각이 강해지는 글이구만 Ai 발전속도 개미침..
지금 게임실시간 번역도 고유명사 난사하는거 아니면 게임하는데 큰 지장없을정도까지 와서 무섭더라구요
이런 기능 좋기는 한데, 퀘스트에서 이걸 활용할만한게 있을까요? 나중에 AR 글래스 같은거에서 나오면 진짜 좋긴 할거같네요.
좀 더 가면 지금 ai목소리로 더빙해주는 기술로 실시간으로 한국말로 들리게 번역도 되겠죠
워크룸에만 들어가도 다국적 미팅에서 자동번역이 되겠죠 레이벤 선글라스에 아마 지금 음성비서 들어가는데 그쪽에도 추후에는 들어갈지도... 아마 칩셋때문에 안될거같지만
오--
지연속도 2초ㄷㄷ 대단하네요
어순이 다른데 2초안에 문장이 끝이 안났는데 번역이 가능하다.....고? 아마 말 다하고 2초인거겠졍...?
포커겜이나 어몽어스같은겜들어가서 외국인들이랑 대화가능하단건가
더이상 야동 볼때 자막을 찾지 않아도 되는것인가...
팥고물 간다 징계나무를 음성으로 듣겠군
vr챗 여성캐릭이 늘겠구만