W złożonych środowiskach ludzie mogą lepiej zrozumieć znaczenie mowy niż AI, ponieważ używamy nie tylko naszych uszu, ale także oczu.
Na przykład widzimy, jak czyjeś usta poruszają się i możemy intuicyjnie wiedzieć, że dźwięk, który słyszym, musi pochodzić od tej osoby.
Meta AI pracuje nad nowym systemem dialogu AI, który ma nauczyć sztuczną inteligencję, aby uczyć się również rozpoznawania subtelnych korelacji między tym, co widzi i słyszy w rozmowie.
VisualVoice uczy się w podobny sposób, jak ludzie uczą się opanować nowe umiejętności, umożliwiając separację mowy audiowizualnej poprzez uczenie się wskazówek wizualnych i słuchowych z nieznakowanych filmów.
W przypadku maszyn stwarza to lepszą percepcję, podczas gdy ludzka percepcja poprawia się.
Wyobraź sobie, że możesz uczestniczyć w spotkaniach grupowych w Metaverse z kolegami z całego świata, łącząc mniejsze spotkania grupowe, gdy poruszają się przez wirtualną przestrzeń, podczas której zdrowe pogłoski i barwy na scenie zgodnie z środowiskiem odpowiednio się dostosowują.
Oznacza to, że może jednocześnie uzyskać informacje o dźwięku, wideo i tekstu i ma bogatszy model zrozumienia środowiska, umożliwiając użytkownikom posiadanie dźwięku „bardzo wow”.
Czas postu: 20-2022
