Мы внедряем машинное обучение во множество аспектов работы Snapchat. Исследование инноваций в этой области является для нас главным приоритетом. Мы начали сотрудничать с AWS, как только узнали об Inferentia. Наша цель заключалась в адаптации инстансов Inf1/Inferentia для последующего развертывания машинного обучения, включая аспекты производительности и затрат. Мы начали с моделей рекомендаций, а в будущем намерены использовать еще больше моделей в сочетании с инстансами Inf1.

Единая платформа управления клиентским опытом (Unified-CXM) Sprinklr на основе искусственного интеллекта позволяет компаниям собирать отзывы клиентов по нескольким каналам и преобразовывать их в режиме реального времени в полезные выводы, и в результате решать проблемы на упреждение, улучшать разработку продуктов, контент-маркетинг, обслуживание клиентов и многое другое. С помощью Amazon EC2 Inf1 мы смогли значительно улучшить производительность наших моделей компьютерного зрения и обработки естественного языка (NLP). Мы будем рады и далее использовать Amazon EC2 Inf1, чтобы предоставлять лучшее обслуживание для наших клиентов по всему миру.

Наш современный продукт для обработки естественного языка Finch for Text позволяет пользователям извлекать, распознавать и обогащать многие типы сущностей в больших объемах текста. Для Finch for Text требуется значительное количество вычислительных ресурсов, чтобы проводить обогащение глобальных потоков данных с малой задержкой. Теперь мы используем инстансы AWS Inf1 в моделях PyTorch NLP, перевода и устранения противоречий. Нам удалось сократить затраты на формирование логических выводов более чем на 80 % (по сравнению с графическими процессорами) с минимальной оптимизацией и сохранением скорости и производительности. Это улучшение позволяет нашим клиентам в режиме реального времени обогащать тексты в потоках данных на французском, испанском, немецком и голландском языках в глобальных масштабах. Это крайне важно для наших клиентов из отраслей финансовых услуг, агрегирования данных и государственного сектора.

Мы оповещаем о многих событиях по всему миру на разных языках и в разных форматах (изображения, видео, аудио, текстовые датчики и разные сочетания этих типов), собирая информацию из сотен тысяч источников. Оптимизация скорости и затрат с учетом такого масштаба крайне важна для нашего бизнеса. С помощью AWS Inferentia мы снизили задержку модели и достигли до 9 раз лучшей пропускной способности в пересчете на один доллар. Таким образом, мы смогли повысить точность моделирования и расширить возможности нашей платформы за счет развертывания более сложных моделей глубокого обучения и обработки в 5 раз большего объема данных, сохраняя при этом контроль над расходами.

Компания Autodesk расширяет когнитивные технологии нашего виртуального помощника на базе ИИ, Autodesk Virtual Agent (AVA), используя Inferentia. Виртуальный помощник AVA отвечает на более чем 100 000 вопросов клиентов ежемесячно, применяя технологию понимания естественного языка и методы глубокого обучения для извлечения контекста, намерений и смысла запросов. Применив Inferentia в тестовом режиме, мы смогли повысить пропускную способность в 4,9 раза по сравнению с G4dn для моделей понимания естественного языка, и теперь готовы запустить больше рабочих нагрузок на инстансах Inf1 на основе Inferentia.

Обычно лишь исследователи-эксперты пользуются георадарами и занимаются обнаружением визуальных дефектов. Архитектура на базе микросервисов AWS позволяет нам обрабатывать видео, снятое автоматизированным инспекционным транспортом и инспекторами. Благодаря миграции собственных моделей с традиционных инстансов с использованием графических процессоров на Inferentia мы смогли сократить затраты на 50 %. Кроме того, нам удалось повысить производительность по сравнению с инстансами G4dn на базе графических процессоров. Наша команда хочет перенести больше рабочих нагрузок на инстансы Inf1 на базе Inferentia.

NTTPC разработала сервис AnyMotion, который предоставляет платформу API для анализа движения на базе моделей машинного обучения с расширенным анализом поз. Мы развернули свою платформу AnyMotion на инстансах Amazon EC2 Inf1 с использованием Amazon ECS для создания полностью управляемого сервиса оркестрации контейнеров. Развернув свои контейнеры AnyMotion на Amazon EC2 Inf1, мы наблюдаем повышение пропускной способности в 4,5 раза, снижение задержки при формировании логических выводов на 25 % и сокращение затрат на 90 % по сравнению с текущим поколением инстансов EC2 на основе графических процессоров. Эти превосходные результаты помогут повысить качество сервиса AnyMotion в крупном масштабе.

Рынок цифровых платформ для сферы здравоохранения растет потрясающими темпами. Сбор информации на этом рынке является трудной задачей в связи с огромным количеством неструктурированных данных об отзывах клиентов. Наше приложение автоматизирует создание полезной аналитической информации на основе отзывов клиентов при помощи моделей глубокого обучения для естественного языка (Transformers). Наше приложение требует интенсивного использования вычислительных ресурсов и развертывания с крайне высокой производительностью. Мы легко развернули логическую рабочую нагрузку глубокого обучения в инстансах Amazon EC2 Inf1 на базе процессора AWS Inferentia. Новые инстансы Inf1 обеспечивают вдвое большую пропускную способность, чем инстансы на базе графических процессоров, и помогают нам упростить рабочие нагрузки логического вывода.

В международный портфель Condé Nast входят более 20 ведущих медиабрендов, включая Wired, Vogue и Vanity Fair. Наша команда смогла интегрировать наш механизм рекомендаций с микросхемами AWS Inferentia за несколько недель. Эта интеграция позволяет проводить множество операций по оптимизации среды выполнения для современных моделей естественного языка в инстансах SageMaker Inf1. В результате нам удалось сократить расходы на 72 % по сравнению с ранее развернутыми инстансами на базе графического процессора.

Компания Ciao превращает обычные камеры видеонаблюдения в высокоэффективные устройства анализа видеоданных, не уступающие даже человеческому глазу. Наше приложение помогает предотвращать стихийные бедствия и отслеживать условия окружающей среды с помощью камер, использующих облачные технологии на основе ИИ. Специальные оповещения позволяют отреагировать на ситуацию до того, как она станет критичной. Благодаря технологии обнаружения объектов мы также можем на основе видеозаписей предоставлять аналитические сведения о количестве посетителей (без учета работников), вошедших в магазин. Компания Ciao Camera внедрила инстансы Inf1 на базе AWS Inferentia на коммерческой основе, сократив при этом расходы на 40 % по сравнению с инстансом G4dn с YOLOv4. Мы планируем значительно снизить расходы на другие наши сервисы благодаря использованию Inf1.

Газета Asahi Shimbun является одной из наиболее популярных в Японии. Media Lab – это одно из подразделений нашей компании, задача которого заключается в изучении последних технологий, в особенности ИИ, а также в подключении инновационных технологий для новой бизнес-деятельности. Запуск инстансов Amazon EC2 Inf1 на базе AWS Inferentia в Токио позволил нам протестировать на этих инстансах наше ИИ-приложение для резюмирования текста на основе PyTorch. Это приложение обрабатывает большой объем данных, а также генерирует заголовки и краткие предложения на основе статей за последние 30 лет. Используя Inferentia, нам удалось в несколько раз сократить расходы по сравнению с инстансами на базе ЦП. Значительное сокращение расходов позволит нам развертывать наиболее сложные модели в нужном масштабе, что ранее казалось недоступным с финансовой точки зрения».

Компания CS Disco создает принципиально новые юридические технологии, являясь ведущим поставщиком решений искусственного интеллекта для электронного поиска, разработанных юристами для юристов. Disco AI ускоряет неблагодарную задачу просеивания терабайтов данных, ускоряет время просмотра и повышает точность обзора документов за счет использования сложных моделей обработки естественного языка, которые требуют больших вычислительных ресурсов и чрезвычайно затратны. Disco обнаружила, что инстансы Inf1 на базе AWS Inferentia снижают стоимость логического вывода в Disco AI как минимум на 35 % по сравнению с современными инстансами на базе GPU. Основываясь на положительном опыте работы с инстансами Inf1, компания CS Disco изучит возможности перехода на AWS Inferentia.

Компания Talroo предоставляет клиентам платформу на основе данных, которая поможет им привлекать уникальных кандидатов и нанимать сотрудников. Мы неустанно следим за новыми технологиями, чтобы предлагать клиентам лучшие продукты и услуги. С помощью Inferentia мы извлекаем данные из фонда текстовых данных, чтобы совершенствовать ИИ-технологии поиска соответствий. Talroo использует инстансы Amazon EC2 Inf1 для создания моделей понимания естественных языков с высокой пропускной способностью на основе SageMaker. Результаты первоначального тестирования Talroo свидетельствуют о том, что инстансы Amazon EC2 Inf1 на 40 % сокращают задержки логических выводов и в два раза увеличивают пропускную способность по сравнению с инстансами G4dn на базе графических процессоров. Учитывая эти результаты, Talroo будет рада включить в свою инфраструктуру AWS инстансы Amazon EC2 Inf1.

Компания Digital Media Professionals развивает новые идеи благодаря платформе ZIA™ на базе искусственного интеллекта. DMP использует эффективные технологии классификации машинного зрения для сбора сведений о больших количествах поступающих в реальном времени изображений, например в целях наблюдения за условиями, а также предотвращения преступлений и несчастных случаев. Мы обнаружили, что наши модели сегментации изображений работают в четыре раза быстрее в инстансах Inf1 на базе AWS Inferentia по сравнению с инстансами G4 на базе графического процессора. Благодаря более высокой пропускной способности и более низкой стоимости Inferentia позволяет масштабно развертывать наши рабочие нагрузки ИИ, такие как приложения для автомобильных видеорегистраторов.

Так как машинное обучение является основой нашей стратегии, мы были рады опробовать инстансы Inf1 на базе AWS Inferentia. Мы обнаружили, что инстансы Inf1 легко интегрируются с нашими научно-исследовательскими процессами. Что самое важное, мы заметили впечатляющий прирост производительности по сравнению с инстансами G4dn на базе графических процессоров. В нашей первой модели инстансы Inf1 показали на 45 % большую пропускную способность и сократили расходы на получение логических выводов почти на 50 %. Мы планируем тесно сотрудничать со специалистами AWS, чтобы портировать другие модели и перенести большую часть нашей инфраструктуры машинного обучения на сервис AWS Inferentia.

SkyWatch обрабатывает сотни триллионов пикселей изображений, ежедневно получаемых от наблюдения за Землей из космоса. Переход к использованию новых инстансов Inf1 на основе AWS Inferentia с применением Amazon SageMaker для обнаружения облаков и оценки качества изображений в режиме реального времени прошел быстро и легко. Для этого нужно было всего лишь изменить тип инстанса в конфигурации развертывания. Изменив тип инстанса на Inf1 на основе Inferentia, мы повысили производительность на 40 % и снизили общие затраты на 23 %. Это было большой победой. Мы смогли снизить общие эксплуатационные расходы и при этом продолжили предоставлять своим клиентам высококачественные спутниковые снимки с минимальными затратами на проектирование. Мы стремимся перевести все адреса для получения логических выводов и все процессы пакетной обработки с использованием машинного обучения на инстансы Inf1, чтобы еще больше повысить достоверность данных и улучшить взаимодействие с клиентами.

Мы легко выполнили миграцию нашего чат-бота на основе ИИ на инстансы Amazon EC2 Inf1. Она заняла всего два месяца, после чего мы запустили масштабный сервис на инстансах Inf1 с помощью Amazon ECS. Обслуживая несколько моделей на одном инстансе Inf1, нам удалось сократить задержки логических выводов на 97 % и снизить расходы на их генерирование на 50 % (по сравнению с инстансами на базе графических процессоров). Мы хотим запускать больше рабочих нагрузок на инстансах Inf1 на базе Inferentia.

Для обработки текстовой рекламы мы развертываем по всему миру модели BERT на основе PyTorch на инстансах Inf1, базирующихся на AWS Inferentia. Сменив графические процессоры на Inferentia, мы добились снижения затрат на 69 % при сопоставимой производительности. Компиляция и тестирование моделей для AWS Inferentia заняли менее трех недель. Использование Amazon SageMaker для развертывания моделей в инстансах Inf 1 обеспечило масштабируемость и простоту управления. Когда я впервые проанализировал скомпилированные модели, AWS Inferentia показал настолько впечатляющую производительность, что мне пришлось запустить тесты повторно, чтобы убедиться в правдивости! В дальнейшем мы планируем перенести в Inferentia модели обработки рекламных изображений. Мы уже отметили снижение времени задержки на 30 % и экономию средств в размере 71 % по сравнению с сопоставимыми инстансами той же модели на базе графического процессора.

Возможности искусственного интеллекта и машинного обучения Amazon Alexa, которые работают на основе AWS, сегодня доступны более чем на 100 миллионах устройств, и мы обещаем клиентам, что Alexa все время будет становиться умнее, общительнее, предусмотрительнее и очаровательнее. Чтобы выполнить это обещание, нужно постоянно сокращать время отклика и затраты на инфраструктуру машинного обучения, поэтому мы рады применять инстансы Inf1 на основе Amazon EC2, чтобы снижать задержку генерирования логических выводов и сокращать затраты на каждый логический вывод при использовании функции Alexa для преобразования текста в речь. Благодаря инстансам Amazon EC2 Inf1 мы сможем сделать этот сервис еще удобнее для десятков миллионов клиентов, которые пользуются Alexa каждый месяц.

Amazon Prime Video использует модели машинного зрения на базе машинного обучения для анализа качества прямых видеотрансляций, чтобы предоставить участникам Prime Video наилучшие впечатления. Мы развернули наши модели классификации изображений на основе машинного обучения на инстансах EC2 Inf1, что позволило повысить производительность в 4 раза и сократить затраты почти на 40 %. Теперь мы хотим направить сэкономленные средства на инновации и разработать усовершенствованные модели для обнаружения более сложных дефектов, таких как задержка синхронизации между аудио- и видеофайлами, чтобы улучшить впечатления участников Prime Video.

Amazon Rekognition – это простое и удобное приложение для анализа изображений и видео, которое помогает клиентам идентифицировать объекты, людей, текст и действия. Приложение Amazon Rekognition требует высокопроизводительной инфраструктуры глубокого обучения, которая может ежедневно анализировать миллиарды изображений и видео для наших клиентов. Благодаря инстансам Inf1 на основе AWS Inferentia использование таких моделей Amazon Rekognition, как классификация объектов, привело к сокращению задержки в 8 раз и увеличению пропускной способности в 2 раза по сравнению с использованием этих моделей на ГП. С учетом этих результатов мы перемещаем Amazon Rekognition на Inf1, что позволяет нашим клиентам быстрее получать точные результаты.