Досуг Общество Легенды и Мифы Живой мир Игры МАГАЗИН ДЛЯ ВСЕХ Полезное
27Чт
28Пт
29Сб
30Вс
июня 2019
• Личный кабинет
Логин: (регистрация?) Пароль: (напомнить?)
• РЕГИСТРАЦИЯ
Свежие статьи Самые свежие статьи Вестника К

Доклад Нюты Федермессер о ситуации в российских психоневрологических интернатах. Расшифровка.

Сотрудники бюджетных учреждений рассказали нам, что предвыборный штаб Беглова дал указание администрациям фальсифицировать подписи петербуржцев для участия выборов.

Имущество генерал-полковника ФСБ Алексея Дорофеева, подозреваемого в провокации против журналиста «Медузы» Ивана Голунова, было «конфисковано» в пользу «Российской Федерации». Об этом говорится в новом расследовании «Собеседника».

В мае и июне как минимум 24 человека подверглись отравлению в центре Москвы... Пока жертвы были без сознания, их грабили или избивали. В начале июня предполагаемого преступника задержали, но после возбуждения дела о краже отпустили под подписку о невыезде. После этого нападения продолжились...

• Реклама
О веселом Отдохни с Вестником

15 мая на аукционе Christieʼs в Нью-Йорке была продана скульптура «Кролик» американского художника Джеффа Кунса. Цена лота составила 91 075 000 долларов — это новый аукционный рекорд для работы ныне живущего художника.

Работа Клода Моне из серии «Стога сена» продана на аукционе Sothebyʼs в Нью-Йорке за 110,7 миллиона долларов. Это рекорд аукционной цены для картин этого художника.

Елена Фернандес из Сальвадора, Бразилия, открыла свой маленький тату-салон и тут же получила невероятную популярность среди местных жителей...

Как бы выглядел современный пейзаж, если бы знаменитые и грандиозные постройки древнего мира известные как "7 чудес света" дожили до нашего времени...

• Новости мира
Парламент Киргизии лишил экс-президента Атамбаева неприкосновенности
Депутаты парламента Киргизии проголосовали за лишение неприкосновенности бывшего президента республики Алмазбека Атамбаева.

Меркель вновь стало плохо на официальной встрече
Канцлер Германии Ангела Меркель сегодня, 27 июня, вновь почувствовала себя плохо во время официального мероприятия. На встрече с президентом страны Франком-Вальтером Штайнмайером она начала сильно ...

Forbes назвал лучший российский вуз
Журнал Forbes опубликовал рейтинг 100 лучших вузов России, поместив на первое место в нем Национальный исследовательский технологический университет «МИСиС» (54,11 балла). Следом за ним в списке идет ...


Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса      

Информация к новости
  • Просмотров: 186
  • Комментариев: 0
  • Автор: Бэкки
  • Дата: 10-06-2019, 16:31
  • В закладки:
  • 0
10-06-2019, 16:31


В Лаборатории искусственного интеллекта MIT опубликовали Speech2Face — модель, которая реконструирует лицо человека по записи его голоса. Нейросеть обучалась на миллионах видеозаписей с YouTube, на которых демонстрируется разговор человека. Задача заключалась в том, чтобы понять, может ли голос отражать внешние характеристики его обладателя. Исследователи не фокусировались на том, чтобы точно реконструировать портрет человека по голосу, а на том, чтобы восстановить основные внешние характеристики.

Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса

Архитектура модели

На вход модель принимает спектограмму аудиозаписи голоса. Спектограмма — визуальное представление аудиоволн. На выходе модель отдает вектор размером в 4096 с характеристиками лица, который затем декодируется в изображение лица. Декодирование из вектора с характеристиками в изображение лица происходит с помощью предобученной нейросети.Обучалась модель на датасете AVSpeech. Для этой цели исследователи использовали предобученную VGG-Face.Пайплайн обучения модели можно разделить на два шага:

1. Кодировщик голоса, который принимает на вход спектограмму и предсказывает вектор с характеристиками лица человека;

2. Декодировщик лица, который принимает на вход вектор с характеристиками лица человека и генерирует лицо человека в стандартном формате (анфас и безэмоциональное)

Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса

Во время обучения декодировщик лица был зафиксирован и обучался только кодировщик голоса. Декодировщик лица исследователи взяли готовым из работы Cole et al.

Оценка работы модели

Нейросеть была протестирована с помощью качественных и количественных метрик. Во время экспериментов модель тестировалась на датасетах AVSpeech и VoxCeleb. Ниже можно, что чем длиннее входная аудиозапись (3 сек против 6 сек), тем выше количественная метрика и тем ближе сгенерированное изображение к истинному.

Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса



Вернуться   ==   Сообщить об ошибке? ==  Просмотров: 186  ==  Комментариев: 0    Автор: Бэкки


Дорогие друзья! У нас появилась официальная группа вконтакте: http://vk.com/vestnik_k - теперь следить за нашими новостями еще удобнее!
поделиться с друзьями     
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь. Мы рекомендуем Вам зарегистрироваться, либо войти на сайт под своим именем, чтобы получить доступ ко всем ресурсам сайта.

Информация

Посетители, находящиеся в группе Гость, не могут оставлять комментарии к данной публикации.
  • На Главную
  • Реклама
    Новости мира
    Парламент Киргизии лишил экс-президента Атамбаева неприкосновенности
    Депутаты парламента Киргизии проголосовали за лишение неприкосновенности бывшего президента республики Алмазбека Атамбаева.

    Меркель вновь стало плохо на официальной встрече
    Канцлер Германии Ангела Меркель сегодня, 27 июня, вновь почувствовала себя плохо во время официального мероприятия. На встрече с президентом страны Франком-Вальтером Штайнмайером она начала сильно ...

    Forbes назвал лучший российский вуз
    Журнал Forbes опубликовал рейтинг 100 лучших вузов России, поместив на первое место в нем Национальный исследовательский технологический университет «МИСиС» (54,11 балла). Следом за ним в списке идет ...

    Вверх
    Вверх