Досуг Общество Легенды и Мифы Живой мир Игры МАГАЗИН ДЛЯ ВСЕХ Полезное
1Вт
2Ср
3Чт
4Пт
5Сб
6Вс
8Вт
9Ср
10Чт
11Пт
12Сб
13Вс
14Пн
15Вт
16Ср
18Пт
19Сб
20Вс
21Пн
22Вт
23Ср
24Чт
25Пт
26Сб
27Вс
28Пн
29Вт
30Ср
сентября 2020
• Личный кабинет
Логин: (регистрация?) Пароль: (напомнить?)
• РЕГИСТРАЦИЯ
Свежие статьи Самые свежие статьи Вестника К

Полицейский из Подмосковья работал на ЦРУ, воевал в Донбассе и сел на 13 лет за госизмену. Мы с ним поговорили...

Мы выяснили у сопредседателя движения «Голос» Григория Мельконьянца, смогут ли теперь арестованные кандидаты продолжать борьбу за участие в осенних выборах.

Одна из самых запоминающихся участниц московского протеста — 17-летняя Ольга Мисик. Мы с ней поговорили...

Московские суды арестовали 29 июля не менее 40 человек, задержанных на акции протеста 27 июля, сообщает «ОВД-Инфо». Полный перечень решений можно посмотреть...

Зачем Россия отправляет в Венесуэлу военных советников и других специалистов...

• Реклама
О веселом Отдохни с Вестником

Собрали для вас примеры импортозамещения из России и дружественных республик. Глядя на них, хочется то ли плакать, то ли смеяться.

15 мая на аукционе Christieʼs в Нью-Йорке была продана скульптура «Кролик» американского художника Джеффа Кунса. Цена лота составила 91 075 000 долларов — это новый аукционный рекорд для работы ныне живущего художника.

Работа Клода Моне из серии «Стога сена» продана на аукционе Sothebyʼs в Нью-Йорке за 110,7 миллиона долларов. Это рекорд аукционной цены для картин этого художника.

Елена Фернандес из Сальвадора, Бразилия, открыла свой маленький тату-салон и тут же получила невероятную популярность среди местных жителей...

• Новости мира
Ротенберг назвал бредом данные СМИ о транзакциях через лондонский банк
К числу финансовых операций, которые отчитывающиеся перед FinCEN банки сочли подозрительными, отнесены, в частности, транзакции Ayrton Development Limited. Компания, по данным BBC, в Barclays сочли ...

Разработан закон о всероссийском сносе и изъятии недвижимости
Местные власти в России могут наделить правом принимать программы сноса и реконструкции практически любого, а не только аварийного жилья. Об этом пишет «Коммерсантъ» со ссылкой на законопроект, ...

В России зарегистрировано 6196 новых случаев коронавируса
В России за последние сутки обнаружено 6 196 новых случаев COVID-19, сообщает Информационный центр по коронавирусу (ИЦК) в понедельник, 21 сентября. В том числе выявлено активно 1589 (25,6%) без ...


Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса      

Информация к новости
  • Просмотров: 1018
  • Комментариев: 0
  • Автор: Бэкки
  • Дата: 10-06-2019, 16:31
  • В закладки:
  • 0
10-06-2019, 16:31


В Лаборатории искусственного интеллекта MIT опубликовали Speech2Face — модель, которая реконструирует лицо человека по записи его голоса. Нейросеть обучалась на миллионах видеозаписей с YouTube, на которых демонстрируется разговор человека. Задача заключалась в том, чтобы понять, может ли голос отражать внешние характеристики его обладателя. Исследователи не фокусировались на том, чтобы точно реконструировать портрет человека по голосу, а на том, чтобы восстановить основные внешние характеристики.

Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса

Архитектура модели

На вход модель принимает спектограмму аудиозаписи голоса. Спектограмма — визуальное представление аудиоволн. На выходе модель отдает вектор размером в 4096 с характеристиками лица, который затем декодируется в изображение лица. Декодирование из вектора с характеристиками в изображение лица происходит с помощью предобученной нейросети.Обучалась модель на датасете AVSpeech. Для этой цели исследователи использовали предобученную VGG-Face.Пайплайн обучения модели можно разделить на два шага:

1. Кодировщик голоса, который принимает на вход спектограмму и предсказывает вектор с характеристиками лица человека;

2. Декодировщик лица, который принимает на вход вектор с характеристиками лица человека и генерирует лицо человека в стандартном формате (анфас и безэмоциональное)

Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса

Во время обучения декодировщик лица был зафиксирован и обучался только кодировщик голоса. Декодировщик лица исследователи взяли готовым из работы Cole et al.

Оценка работы модели

Нейросеть была протестирована с помощью качественных и количественных метрик. Во время экспериментов модель тестировалась на датасетах AVSpeech и VoxCeleb. Ниже можно, что чем длиннее входная аудиозапись (3 сек против 6 сек), тем выше количественная метрика и тем ближе сгенерированное изображение к истинному.

Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса





Вернуться   ==   Сообщить об ошибке? ==  Просмотров: 1018  ==  Комментариев: 0    Автор: Бэкки


Дорогие друзья! У нас появилась официальная группа вконтакте: http://vk.com/vestnik_k - теперь следить за нашими новостями еще удобнее!
поделиться с друзьями     
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь. Мы рекомендуем Вам зарегистрироваться, либо войти на сайт под своим именем, чтобы получить доступ ко всем ресурсам сайта.

Информация

Посетители, находящиеся в группе Гость, не могут оставлять комментарии к данной публикации.
  • На Главную
  • Реклама
    Новости мира
    Ротенберг назвал бредом данные СМИ о транзакциях через лондонский банк
    К числу финансовых операций, которые отчитывающиеся перед FinCEN банки сочли подозрительными, отнесены, в частности, транзакции Ayrton Development Limited. Компания, по данным BBC, в Barclays сочли ...

    Разработан закон о всероссийском сносе и изъятии недвижимости
    Местные власти в России могут наделить правом принимать программы сноса и реконструкции практически любого, а не только аварийного жилья. Об этом пишет «Коммерсантъ» со ссылкой на законопроект, ...

    В России зарегистрировано 6196 новых случаев коронавируса
    В России за последние сутки обнаружено 6 196 новых случаев COVID-19, сообщает Информационный центр по коронавирусу (ИЦК) в понедельник, 21 сентября. В том числе выявлено активно 1589 (25,6%) без ...

    Вверх
    Вверх