МАТЕМАТИКИ ИЗ АРМЕНИИ СОЗДАЛИ СЕРВИС, УБИРАЮЩИЙ ПОСТОРОННИЕ ЗВУКИ ВО ВРЕМЯ ЗВОНКОВ
С помощью нейросетей Krisp определяет раздражающие шумы (вроде плача ребёнка или шуршания бумаги) и в реальном времени вырезает их из аудиопотока. Материал о разработке и авторах идее опубликован по ссылке.
Krisp – это приложение для Mac, которое в режиме реального времени устраняет посторонние звуки во время звонков через Skype, Slack и другие VoIP-сервисы.
Пользователь может выбрать, какие шумы блокировать: входящие или исходящие. Первый способ подходит для ситуаций, когда собеседник (или собеседники) находится на оживлённой улице.
Второй – когда пользователь хочет скрыть своё окружение. Например, если звонок застал его в кофейне по пути на работу.
Приложение способно различать и подавлять такие звуки, как шум улицы, кафе или аэропорта, детский плач, шуршание бумаги, стук клавиш и многие другие.
Технология
Krisp — продукт американской компании с армянскими корнями 2Hz, которую в 2017 году основали два друга: Давид Багдасарян и Артавазд Минасян.
Шумоподавление сервиса работает благодаря технологии машинного обучения.
Команда проекта собрала два датасета: в первом было несколько десятков тысяч аудиозаписей с различными звуками-шумами (например, автомобильной сигнализации). Во втором — примеры чистой речи, записанной в студии.
Затем разработчики стали генерировать сэмплы — накладывать шумы на чистую речь и создавать множество вариантов комбинаций с разными звуками и уровнями громкости.
Например:
• Тихая речь с громким звуком пожарной сирены.
• Громкая речь с громким звуком пожарной сирены.
• Громкая речь с тихим звуком пожарной сирены.
• Тихая речь с тихим звуком пожарной сирены и так далее.
Далее они создали нейросеть и использовали получившиеся сэмплы для её обучения. Если грубо: давали образец речи с шумами, образец чистой речи без шумов и предлагали убрать лишнее.
И повторяли процедуру множество раз, пока нейросеть не научилась эффективно распознавать и убирать шумы.
Идея
Давид Багдасарян родился и вырос в Армении, а также получил степень магистра в области компьютерных наук в Ереванском государственном университете.
Со студенческих лет он работал в местных аутсорс-компаниях, которые создавали ИТ-продукты для зарубежных клиентов — в том числе из США.
Одним из таких заказчиков была компания Validity Sensors, которая выпускала сканеры отпечатков пальцев для ноутбуков и смартфонов. В 2008 году руководство предложило Багдасаряну переехать в США и возглавить департамент информационной безопасности.
Он проработал в Validity Sensors четыре года, а затем ушёл в стартап Nok Nok Labs, который открыл один из его бывших руководителей. Компания занималась решениями в сфере безопасности, и Багдасарян отвечал за разработку протокола FIDO (Fast IDentity Online), который потом стали использовать Google, Facebook, GitHub, Microsoft и другие компании.
Со временем он заскучал и решил сменить сферу. В 2016 году устроился в компанию Twilio, которая разрабатывает API для корпоративных коммуникаций.
С помощью ПО Twilio компании могут принимать и совершать звонки, а также отправлять и принимать SMS. Например, Uber использует Twilio для звонков между пассажирами и водителями.
"Мы постоянно ломали голову — как улучшить качество аудио. Чаще всего звук ухудшался именно из-за шума на заднем плане", — вспоминает Багдасарян.
Мне тогда казалось: "Окей, это классическая проблема, которую может решить машинное обучение".
Нужно научить нейросеть, что есть шум, а что — человеческий голос, и разделить их. Мне было любопытно — почему никто ещё не решил её.
У предпринимателя была и личная причина взяться за проблему. Какое-то время он работал удалённо, находясь в Армении. Из-за разницы во времени ему приходилось коммуницировать с командой по вечерам, и он не знал, где его застанет очередной звонок: в гостях с шумными детьми, в кафе или где-то ещё.
"И я подумал, что было бы круто иметь под рукой сервис, который скрывал бы окружение, чтобы другие участники беседы не могли понять, где ты находишься", — вспоминает Багдасарян.
В конце 2016 года Багдасарян рассказал об этой идее своему приятелю, доктору математических наук Артавазду Минасяну. К тому времени у него уже было несколько компаний в ИТ-сфере. Кроме того, он как раз искал интересные проекты в сфере машинного обучения.
Минасян начал изучать, как можно реализовать идею, и привлёк знакомого математика Степана Саргсяна (сейчас он главный научный сотрудник 2Hz).
Осенью 2017 года Багдасарян окончательно решил уволиться из Twilio и переехать всей семьёй в Армению. Через несколько недель после возвращения они вместе с Минасяном открыли 2Hz.
Продвижение и популярность
Компания представила Krisp в октябре 2018 года. В конце месяца Багдасарян опубликовал статью о продукте и технологии в блоге для разработчиков компании Nvidia.
По словам предпринимателя, материалом поделились более тысячи пользователей в социальных сетях, что стоило ему бессонной ночи: он до утра отвечал на сообщения с вопросами.
Ночью 16 ноября один из пользователей опубликовал ссылку на Krisp в сообществе Hacker News, а утром неизвестный анонсировал продукт на платформе Product Hunt.
Это не входило в планы 2Hz — у команды не было необходимых маркетинговых материалов, и Багдасарян попытался связаться с администрацией сервиса, чтобы она удалила упоминание Krisp.
Однако когда представитель администрации наконец-то вышел на связь, Krisp уже имел все шансы стать продуктом дня — и предприниматель решил оставить всё как есть.
Впоследствии Krisp занял первое место в номинации "Продукт дня", третье место в номинации "Продукт недели" и четвёртое в номинации "Продукт месяца", а также первое место в номинации "Продукт года" в категории "Звук и аудио".
Krisp стал лучшим маркетинговым средством для нашей технологии.
Не проходит и дня, чтобы какая-нибудь крупная компания не прислала нам письмо вроде:
"Привет! Сколько будет стоить интеграция вашей технологии в наш бизнес?".
Panorama.am
ПОСЛЕДНИЕ ОТ АВТОРА
-
2021-04-14 06:18118
Родственники армянских военнослужащих, попавших в плен возле села Хцаберд, встретились вчера с главой СНБ Ширакской области. Об этом в беседе с Новости Армении- NEWS.am сообщила мать одного из попавших в плен, попросившая не публиковать ее имя.
-
2021-04-14 06:08108
Для Католикосата Великого Дома Киликийского признание Геноцида армян и требование восстановить нарушенные права армянского народа останутся неотъемлемым принципом, вне зависимости от внутренних или внешних геополитических соображении и интересов. Об этом говорится на официальной странице Католикоса Великого Дома Киликийского Арама I в Facebook.
-
2021-04-14 06:05112
Россия считает необходимым приложить дополнительные усилия для защиты культурных объектов, которые находятся в зонах вооруженных конфликтов, и как можно быстрее направить оценочную миссию ЮНЕСКО в Нагорный Карабах. Об этом, выступая на 211-й сессии Исполнительного совета ЮНЕСКО, заявил во вторник постоянный представитель РФ при ЮНЕСКО Александр Кузнецов.
-
2021-04-14 06:02110
Если Анкара продолжит занимать агрессивную позицию, то в отношении страны со стороны ЕС будут приняты меры, в том числе, могут быть введены и санкции, заявил госсекретарь при МИД Франции Клеман Бон, сообщает РИА Новости.
ПОСЛЕДНЕЕ ПО ТЕМЕ
-
2021-04-05 10:231533
Три года на разработку новой, но уже существующей стратегии Сообщение Акопа Аршакяна на своей странице в Facebook о том, что он подает в отставку с поста министра высокотехнологической промышленности Армении, было настолько полно лирикой, сожалением и под конец благодарными словами в адрес премьера и других, что складывалось впечатление, будто он пишет предсмертную записку, а не с должности уходит. Впрочем, пафоса нынешним властям не занимать.
-
2021-03-13 11:572295
Компании высокотехнологической сферы до сих пор не получили обещанные правительством средства.
-
2020-09-29 05:35655
Несколько десятков армянских сайтов, среди которых были также и новостные, вчера подверглись атаке азербайджанских хакеров. Однако, как отметил в беседе с нами эксперт по информационной безопасности Самвел Мартиросян, в реалиях азербайджанцы сумели провести всего одну атаку, которая в конечном счете и привела к подобной ситуации у нас.
-
2020-09-27 21:34266
Армянские СМИ получают поддержку по защите своих сайтов от хакерских атак. Об этом говорится в сообщении Службы национальной безопасности Армении.