Последние новости

МАТЕМАТИКИ ИЗ АРМЕНИИ СОЗДАЛИ СЕРВИС, УБИРАЮЩИЙ ПОСТОРОННИЕ ЗВУКИ ВО ВРЕМЯ ЗВОНКОВ

С помощью нейросетей Krisp определяет раздражающие шумы (вроде плача ребёнка или шуршания бумаги) и в реальном времени вырезает их из аудиопотока. Материал о разработке и авторах идее опубликован по ссылке.

Krisp – это приложение для Mac, которое в режиме реального времени устраняет посторонние звуки во время звонков через Skype, Slack и другие VoIP-сервисы.

Пользователь может выбрать, какие шумы блокировать: входящие или исходящие. Первый способ подходит для ситуаций, когда собеседник (или собеседники) находится на оживлённой улице.

Второй – когда пользователь хочет скрыть своё окружение. Например, если звонок застал его в кофейне по пути на работу.

Приложение способно различать и подавлять такие звуки, как шум улицы, кафе или аэропорта, детский плач, шуршание бумаги, стук клавиш и многие другие.

Технология

Krisp — продукт американской компании с армянскими корнями 2Hz, которую в 2017 году основали два друга: Давид Багдасарян и Артавазд Минасян.

Шумоподавление сервиса работает благодаря технологии машинного обучения.

Команда проекта собрала два датасета: в первом было несколько десятков тысяч аудиозаписей с различными звуками-шумами (например, автомобильной сигнализации). Во втором — примеры чистой речи, записанной в студии.

Затем разработчики стали генерировать сэмплы — накладывать шумы на чистую речь и создавать множество вариантов комбинаций с разными звуками и уровнями громкости.

Например:

• Тихая речь с громким звуком пожарной сирены.

• Громкая речь с громким звуком пожарной сирены.

• Громкая речь с тихим звуком пожарной сирены.

• Тихая речь с тихим звуком пожарной сирены и так далее.

Далее они создали нейросеть и использовали получившиеся сэмплы для её обучения. Если грубо: давали образец речи с шумами, образец чистой речи без шумов и предлагали убрать лишнее.

И повторяли процедуру множество раз, пока нейросеть не научилась эффективно распознавать и убирать шумы.

Идея

Давид Багдасарян родился и вырос в Армении, а также получил степень магистра в области компьютерных наук в Ереванском государственном университете.

Со студенческих лет он работал в местных аутсорс-компаниях, которые создавали ИТ-продукты для зарубежных клиентов — в том числе из США.

Одним из таких заказчиков была компания Validity Sensors, которая выпускала сканеры отпечатков пальцев для ноутбуков и смартфонов. В 2008 году руководство предложило Багдасаряну переехать в США и возглавить департамент информационной безопасности.

Он проработал в Validity Sensors четыре года, а затем ушёл в стартап Nok Nok Labs, который открыл один из его бывших руководителей. Компания занималась решениями в сфере безопасности, и Багдасарян отвечал за разработку протокола FIDO (Fast IDentity Online), который потом стали использовать Google, Facebook, GitHub, Microsoft и другие компании.

Со временем он заскучал и решил сменить сферу. В 2016 году устроился в компанию Twilio, которая разрабатывает API для корпоративных коммуникаций.

С помощью ПО Twilio компании могут принимать и совершать звонки, а также отправлять и принимать SMS. Например, Uber использует Twilio для звонков между пассажирами и водителями.

"Мы постоянно ломали голову — как улучшить качество аудио. Чаще всего звук ухудшался именно из-за шума на заднем плане", — вспоминает Багдасарян.

Мне тогда казалось: "Окей, это классическая проблема, которую может решить машинное обучение".

Нужно научить нейросеть, что есть шум, а что — человеческий голос, и разделить их. Мне было любопытно — почему никто ещё не решил её.

У предпринимателя была и личная причина взяться за проблему. Какое-то время он работал удалённо, находясь в Армении. Из-за разницы во времени ему приходилось коммуницировать с командой по вечерам, и он не знал, где его застанет очередной звонок: в гостях с шумными детьми, в кафе или где-то ещё.

"И я подумал, что было бы круто иметь под рукой сервис, который скрывал бы окружение, чтобы другие участники беседы не могли понять, где ты находишься", — вспоминает Багдасарян.

В конце 2016 года Багдасарян рассказал об этой идее своему приятелю, доктору математических наук Артавазду Минасяну. К тому времени у него уже было несколько компаний в ИТ-сфере. Кроме того, он как раз искал интересные проекты в сфере машинного обучения.

Минасян начал изучать, как можно реализовать идею, и привлёк знакомого математика Степана Саргсяна (сейчас он главный научный сотрудник 2Hz).

Осенью 2017 года Багдасарян окончательно решил уволиться из Twilio и переехать всей семьёй в Армению. Через несколько недель после возвращения они вместе с Минасяном открыли 2Hz.

Продвижение и популярность

Компания представила Krisp в октябре 2018 года. В конце месяца Багдасарян опубликовал статью о продукте и технологии в блоге для разработчиков компании Nvidia.

По словам предпринимателя, материалом поделились более тысячи пользователей в социальных сетях, что стоило ему бессонной ночи: он до утра отвечал на сообщения с вопросами.

Ночью 16 ноября один из пользователей опубликовал ссылку на Krisp в сообществе Hacker News, а утром неизвестный анонсировал продукт на платформе Product Hunt.

Это не входило в планы 2Hz — у команды не было необходимых маркетинговых материалов, и Багдасарян попытался связаться с администрацией сервиса, чтобы она удалила упоминание Krisp.

Однако когда представитель администрации наконец-то вышел на связь, Krisp уже имел все шансы стать продуктом дня — и предприниматель решил оставить всё как есть.

Впоследствии Krisp занял первое место в номинации "Продукт дня", третье место в номинации "Продукт недели" и четвёртое в номинации "Продукт месяца", а также первое место в номинации "Продукт года" в категории "Звук и аудио".

Krisp стал лучшим маркетинговым средством для нашей технологии.

Не проходит и дня, чтобы какая-нибудь крупная компания не прислала нам письмо вроде:

"Привет! Сколько будет стоить интеграция вашей технологии в наш бизнес?".

Panorama.am

Основная тема:
Теги:

    ПОСЛЕДНИЕ ОТ АВТОРА






    ПОСЛЕДНЕЕ ПО ТЕМЕ

    • ТЕХНОЛОГИЯМ 5G НУЖНА ЦИФРОВИЗАЦИЯ ЭКОНОМИКИ
      2020-06-26 04:08
      832

      Масштабного внедрения сети пятого поколения в ближайшие годы в Армении ждать не стоит Эволюция интернета до сегодняшнего дня была отмечена двумя взрывными процессами, изменившими вектор технологического развития. В конце 90-х годов прошлого столетия одним из таких «взрывов» стало массовое распространение персональных компьютеров и веб-сайтов. В дальнейшем, уже в последние годы произошел второй такой эволюционный виток, сопровождающийся на сей раз активным ростом количества смартфонов и мобильных приложений. А сейчас эксперты предрекают третий «взрыв», катализатором которого станет система 5G. Но на этот раз приложения не будут ограничиваться устройствами с экранами, поскольку задействовано может быть чуть ли не каждое устройство с интернет-подключением.

    • Обсудят возможности цифровых технологий
      2019-10-01 12:23
      272

      Панельная сессия, посвященная цифровым финансовым технологиям на Евразийском пространстве, пройдет в рамках форума "Транзитный потенциал евразийского континента" 1 октября.

    • Минасян: цифровые платформы помогут быстрее доставлять грузы в ЕАЭС
      2019-10-01 10:01
      290

      Министр Евразийской экономической комиссии по внутренним рынкам и информатизации Карине Минасян прокомментировала вопрос о создании "зеленого коридора" для перевозки грузов по всему ЕАЭС.

    • ЮБИЛЕЙ МАНСУРЯНА И МУЗЫКА ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
      2019-08-31 15:00
      4307

      Государственный симфонический оркестр Армении под руководством Сергея Смбатяна откроет свой новый сезон в Арцахе. 1 сентября, накануне Дня независимости Республики Арцах, на площади Возрождения в Степанакерте зазвучит музыка одного из корифеев отечественного музыкального искусства - композитора Тиграна Мансуряна, написанная к кинофильмам, но впервые поданная в новой оркестровой версии.