У складаных умовах людзі могуць разумець сэнс гаворкі лепш, чым ІІ, таму што мы выкарыстоўваем не толькі вушы, але і вочы.
Напрыклад, мы бачым, як чыйсьці рот рухаецца, і можам інтуітыўна ведаць, што гук, які мы чуем, павінен зыходзіць ад гэтага чалавека.
Meta AI працуе над новай дыялогавай сістэмай штучнага інтэлекту, якая павінна навучыць штучны інтэлект таксама распазнаваць тонкія карэляцыі паміж тым, што ён бачыць і чуе ў размове.
VisualVoice вучыцца падобным чынам да таго, як людзі вучацца авалодваць новымі навыкамі, забяспечваючы раздзяленне аўдыя-візуальнага маўлення шляхам вывучэння візуальных і слыхавых сігналаў з відэа без цэтлікаў.
Для машын гэта стварае лепшае ўспрыманне, у той час як чалавечае ўспрыманне паляпшаецца.
Уявіце сабе, што вы можаце ўдзельнічаць у групавых сустрэчах у метасусвету з калегамі з усяго свету, далучаючыся да сустрэч меншых груп, калі яны рухаюцца па віртуальнай прасторы, падчас якіх гукавыя рэверберацыі і тэмбры ў сцэне падладжваюцца адпаведна асяроддзю.
Гэта значыць, ён можа атрымліваць аўдыя-, відэа- і тэкставую інфармацыю адначасова і мае больш багатую мадэль разумення навакольнага асяроддзя, што дазваляе карыстальнікам атрымліваць "вельмі нічога сабе" гук.
Час публікацыі: 20 ліпеня 2022 г
