W złożonych środowiskach ludzie rozumieją znaczenie mowy lepiej niż sztuczna inteligencja, ponieważ używamy nie tylko naszych uszu, ale także oczu.
Na przykład widzimy, że czyjeś usta się poruszają i intuicyjnie możemy wiedzieć, że dźwięk, który słyszymy, musi pochodzić od tej osoby.
Meta AI pracuje nad nowym systemem dialogu AI, który ma nauczyć AI rozpoznawać subtelne korelacje między tym, co widzi i słyszy w rozmowie.
VisualVoice uczy się w podobny sposób, w jaki ludzie uczą się opanowywać nowe umiejętności, umożliwiając audiowizualną separację mowy poprzez uczenie się wskazówek wizualnych i słuchowych z nieoznaczonych filmów.
W przypadku maszyn zapewnia to lepszą percepcję, podczas gdy u ludzi poprawia się percepcja.
Wyobraź sobie, że możesz uczestniczyć w spotkaniach grupowych w Metaverse z kolegami z całego świata, dołączać do mniejszych spotkań grupowych podczas poruszania się po wirtualnej przestrzeni, podczas których pogłosy i barwy dźwięku w scenie dostosowują się do otoczenia. Dostosuj odpowiednio.
Oznacza to, że może jednocześnie uzyskiwać informacje audio, wideo i tekstowe oraz ma bogatszy model zrozumienia środowiska, dzięki czemu użytkownicy mogą uzyskać „bardzo efektowne” wrażenia dźwiękowe.
Czas publikacji: 20 lipca 2022 r
