我们将机器学习融入 Snapchat 的很多方面，在此领域探索创新是重中之重。我们一听说 Inferentia 就开始与 AWS 合作采用 Inf1/Inferentia 实例来帮助我们进行 ML 部署，包括性能和成本方面。我们用自己的推荐模型开始，并期待未来将更多模型用于 Inf1 实例。

通过 Sprinklr 的 AI 驱动型统一客户体验管理（统一 CXM）平台，公司能够收集多个渠道中的实时客户反馈，并将其转化为可实施的洞察 – 从而形成主动的问题解决方法、增强的产品开发、改进的内容营销、更好的客户体验，等等。使用 Amazon EC2 Inf1，我们能够显著地提高我们的 NLP 模型之一的性能，还能提高我们的计算机视觉模型之一的性能。我们期待继续使用 Amazon EC2 Inf1 更好地为全球客户服务。

我们一流的 NLP 产品 Finch for Text 让用户能够在海量文本中提取多种类型实体、消除歧义和丰富其内容。Finch for Text 需要大量的计算资源来为我们的客户在全局数据源上提供低延迟丰富内容。现在，我们使用在 PyTorch NLP、翻译和实体词义排歧模型中使用 AWS Inf1 实例。在保持推理速度和性能的同时，我们能够通过最小的优化降低 80% 以上的推理成本（对于 GPU）。这一改进使我们的客户能够在全球范围内实时丰富其流媒体数据源上的法语、西班牙语、德语和荷兰语文本，这对我们的金融服务、数据聚合器和公共部门客户至关重要。

我们以多种语言、不同的格式（图像、视频、音频、文本传感器、所有这些类型的组合）对世界各地成千上万个来源的多种类型的事件发布提醒。考虑到这种规模，优化速度和成本对我们的业务至关重要。借助 AWS Inferentia，我们降低了模型延迟，使每美元吞吐量提高了 9 倍。这使我们能够部署更复杂的 DL 模型，在控制成本的同时，使处理的数据量增加 5 倍，从而提高模型的准确性并增强平台的功能。

Autodesk 正在通过使用 Inferentia 来推进我们的人工智能虚拟助手——Autodesk 虚拟代理（AVA）的认知技术。AVA 通过应用自然语言理解（NLU）和深度学习（DL）技术来提取查询背后的上下文、意图和意义，每月解答超过 10 万个客户问题。试用 Inferentia 后，对于 NLU 模型，我们能够获得比 G4dn 高 4.9 倍的吞吐量，并期望在基于 Inferentia 的 Inf1 实例上运行更多的工作负载。

探地雷达的使用和视觉缺陷的检测通常是专家测量师的领域。基于 AWS 微服务的架构使我们能够处理自动检查车辆和检查员拍摄的视频。通过将我们的内部构建模型从传统的基于 GPU 的实例迁移到 Inferentia，我们可以将成本降低 50%。此外，当与 G4dn GPU 实例进行时间比较时，我们能够看到性能的提高。我们的团队期待在基于 Inferentia 的 Inf1 实例上运行更多的工作负载。

NTT PC 开发了“AnyMotion”，这是一个基于高级姿势估计 ML 模型的运动分析 API 平台服务。我们使用 Amazon ECS 在 Amazon EC2 Inf1 实例上部署了 AnyMotion 平台，以提供完全托管的容器编排服务。通过在 Amazon EC2 Inf1 上部署 AnyMotion 容器，与当前一代基于 GPU 的 EC2 实例相比，我们的吞吐量提高到了原来的 4.5 倍，推理延迟降低了 25%，成本降低了 90%。这些卓越的成果将有助于大规模提高 AnyMotion 服务的质量。

数字健康平台市场正以惊人的速度增长。由于庞大的客户意见数据及其非结构化性质，在这个市场上收集情报是一项具有挑战性的任务。我们的应用程序通过 DL 的自然语言模型（Transformers）自动生成来自客户意见的可操作见解。我们的应用程序属于计算密集型，需要以高性能的方式进行部署。我们无缝地将 DL 推理工作负载部署到由 AWS Inferentia 处理器支持的 Amazon EC2 Inf1 实例。新的 Inf1 实例可为基于 GPU 的实例提供 2 倍吞吐量，使我们能够简化推理工作负载。

Condé Nast 的全球投资组合涵盖了 20 多个领先的媒体品牌，包括《连线》、Vogue 和 Vanity Fair 等。在几周内，我们的团队就能将我们的推荐引擎与 AWS Inferentia 芯片集成。这种联合可以在 SageMaker 的 Inf1 实例上对最先进的自然语言模型进行多种运行时优化。结果，我们发现，与之前部署的 GPU 实例相比，成本降低 72%。

Ciao 正在将传统的安保摄像头发展成为具有类似于人眼功能的高性能分析摄像头。我们的应用程序采用基于云的 AI 摄像头解决方案在灾难发生前发出提醒，从而提升防灾能力，监测环境条件。此类提醒帮助在事发前对状况做出反应。基于物体检测，我们还可以预估实体店视频中无员工陪同的访客人数以便提供见解。Ciao Camera 在商业上采用基于 AWS Inferentia 的 Inf1 实例，其性价比比搭载 YOLOv4 的 G4dn 高 40%。我们期待在更多服务中使用 Inf1，充分利用其出色的成本效益。

Asahi Shimbun 是日本最受欢迎的日报之一。Media Lab 作为我们公司的部门之一，肩负研究最新技术（特别是 AI）以及为新业务联系尖端技术的使命。随着基于 Amazon EC2 Inf1 实例的 AWS Inferentia 在东京发布，我们在这些实例上测试了基于 PyTorch 的文本摘要人工智能 (AI) 应用程序。该应用程序处理了大量文本，并生成了在过去 30 年文章上进行训练的头条新闻和摘要句子。使用 Inferentia，我们降低了成本，削减了一个数量级的基于 CPU 的实例。成本的大幅下降让我们可以大规模地部署最复杂的模型，而之前从经济角度考虑，我们认为这是不可行的。”

CS Disco 是由律师为律师开发的电子取证 AI 解决方案的领先供应商提供商，正在重塑法律技术。Disco 人工智能利用复杂的 NLP 模型，来更快地梳理 TB 级数、加快审核速度和提高审核准确率，这些模型的计算成本高昂，不划算。Disco 发现，与现在的 GPU 实例相比，基于 AWS Inferentia 的 Inf1 实例将 Disco 人工智能的推理成本至少降低了 35%。基于在 Inf1 实例方面的愉快体验，CS Disco 将探索向 Inferentia 迁移的机会。

在 Talroo，我们为客户提供数据驱动平台，让客户吸引独特的工作候选人，以便他们完成招聘。我们不断探索新技术，以确保为客户提供最好的产品和服务。使用 Inferentia，我们从大量文本数据中提取见解，以提升 AI 支持的搜索匹配技术。Talroo 利用 Amazon EC2 Inf1 实例以 SageMaker 创建高吞吐量 NLU 模型。Talroo 的初始测试表明，Amazon EC2 Inf1 实例使推理延迟降低了 40%，与 G4dn 基于 GPU 的实例相比，吞吐量提高了两倍。基于这些结果，Talroo 希望在其 AWS 基础设施中使用 Amazon EC2 Inf1 实例。

Digital Media Professionals（DMP）通过基于 AI 的 ZIA™ 平台对未来进行可视化。DMP 高效的计算机视觉分类技术可用于构建对大量实时图像数据的洞察，如状态观察、犯罪预防和事故预防。我们发现，我们的图像细分模型在基于 Inf1 实例的 AWS Inferentia 上的运行速度比基于 GPU 的 G4 实例快四倍。由于这一更高的吞吐量和较低的成本，Inferentia 使我们能够大规模部署我们的 AI 工作负载，如行车记录仪应用程序。

机器学习是我们策略的核心，我们很乐于尝试基于 AWS Inferentia 的 Inf1 实例。我们发现 Inf1 实例可以很容易地集成到我们的研发管道中。最重要的是，与基于 G4dn GPU 的实例相比，我们体验到了令人印象深刻的性能提升。在我们的第一个模型中，Inf1 实例的吞吐量提高了 45%，每次推理的成本降低了近 50%。我们打算与 AWS 团队密切合作，移植其他模型，并将大部分 ML 推理基础设施转移到 AWS Inferentia。

SkyWatch 每天处理从太空捕获的数千亿像素地球观测数据。采用基于 AWS Inferentia 的全新 Inf1 实例，使用 Amazon SageMaker 进行实时云检测和图像质量评分非常迅速且轻松。这一切的关键点在于在部署配置中切换实例类型。通过将实例类型转换为基于 Inferentia 的 Inf1，我们将性能提高了 40%，并将总成本降低了 23%。我们取得了巨大胜利。它使我们能够降低整体运营成本，同时继续以最低的工程开销向客户提供高质量的卫星影像。我们期待着将所有推理端点和批处理机器学习流程转移到使用 Inf1 实例，以进一步提高数据可靠性和客户体验。

将我们的 AI 聊天机器人服务迁移到 Amazon EC2 Inf1 实例的过程非常简单。我们在两个月内完成了迁移，并使用 Amazon ECS 在 Inf1 实例上启动了一项大规模服务。通过为每个 Inf1 实例提供多个模型，我们能够将推理延迟降低 97%，将推理成本降低 50% 以上（相对于基于 GPU 的可比较实例）。我们期待在基于 Inferentia 的 Inf1 实例上运行更多的工作负载。

对于我们的文本广告处理，我们在基于 AWS Inferentia 的 Inf1 实例上全局部署了基于 PyTorch 的 BERT 模型。通过从 GPU 迁移到 Inferentia，我们能够在获得近似性能的前提下将成本降低 69%。为 AWS Inferentia 编译和测试我们的模型只用了不到三周的时间。使用 Amazon SageMaker 将我们的模型部署到 Inf1 实例可确保我们的部署具有可扩展性且易于管理。当我第一次分析编译的模型时，AWS Inferentia 的性能令人印象深刻，我实际上不得不重新运行基准测试以确保它们是正确的！ 我们计划未来将我们的图像广告处理模型迁移到 Inferentia。我们已经对这些模型的基于 GPU 的可比较实例进行了基准测试，其延迟降低了 30%，成本节省了 71%。

Amazon Alexa 的 AI 和基于机器学习的智能技术由 AWS 提供支持，目前已在 1 亿多台设备上可用。我们向客户承诺，Alexa 将始终致力于变得更智能、更对话化、更主动、更令人满意。实现这一承诺需要持续改进响应时间和机器学习基础设施成本，因此我们很高兴使用 Amazon EC2 Inf1 实例来降低 Alexa 文字转语音的推理延迟和每次推理成本。借助 Amazon EC2 Inf1 实例，我们将能够为每月使用 Alexa 的数千万客户提供更好的服务。

Amazon Prime Video 使用计算机视觉 ML 模型分析直播活动的视频质量，以确保 Prime Video 会员获得最佳观看体验。我们在 EC2 Inf1 实例上部署了我们的图像分类 ML 模型，并能够获得 4 倍的性能改进和高达 40% 的成本节省。我们现在希望利用这些节省的成本来创新和构建先进的模型，以便检测更复杂的缺陷，如音频和视频文件之间的同步差距，从而为 Prime Video 会员提供更强的观看体验。

Amazon Rekognition 是一种简单的图像和视频分析应用程序，可帮助客户识别物体、人、文本和活动。Amazon Rekognition 需要高性能的深度学习基础设施，以便可以每天为客户分析数十亿图像和视频。使用基于 AWS Inferentia 的 Inf1 实例运行对象分类之类的 Amazon Rekognition 模型，与在 GPU 上运行这些模型相比，可将延迟降低 8 倍，将吞吐量提高 2 倍。根据这些结果，我们将 Amazon Rekognition 移动到 Inf1，从而使我们的客户能够更快地获取准确结果。