在2024亚马逊云科技re:Invent全球大会第三天的主题演讲中，亚马逊云科技人工智能与数据部门副总裁Dr. Swami Sivasubramanian带来了亚马逊云科技生成式AI服务全面升级的深度解读，全方位解决企业构建生成式AI应用困境。

核心看点

Amazon Bedrock，正在解决今天我们最关注的大模型落地的效率问题！Amazon SageMaker，正在解决资源利用和数据分析等大模型落地的速度问题！Amazon Q，正在解决让人人都能用好生成式AI的生产工具问题！It is all about 生产力！一个全新的AI生产力！

◉Amazon Bedrock模型服务全线升级，上百个顶级大模型供选择

◉新一代Amazon SageMaker，一站式解决生成式AI全生命周期问题

◉Amazon Q让每个人都快速使用生成式AI工具，提高整体生产力

☁️ ☁️ ☁️ 

生成式AI创造价值的时代已经到来

从莱特兄弟首次飞行到生成式AI，每一个伟大的成就都站在前人的肩膀上。

生成式AI的诞生凝结了人工神经网络、反向传播算法、无监督预训练、Transformer架构等几十年的人工智能研究成果；同时，又占尽了大规模数据集和云计算的得天独厚。

亚马逊云科技自身AI的发展历程，也是一样，每一步走过的创新都算数。当创新累积到一定程度时，便产生了质的飞跃。

Swami博士回顾过去18年亚马逊云科技的历程：从可扩展的S3存储，到Amazon DynamoDB数据库和Amazon EMR分析……从Amazon SageMaker推广机器学习，到数据湖……现在，我们正处于另一个关键的拐点，生成式AI给人类社会带来的价值和影响，已无法估量。

Amazon Bedrock

一百多款模型，随需所用

Amazon Bedrock是一项完全托管的服务，致力于“最多大模型选择、满足客户所有场景需求”。客户无需管理任何基础设施，完成了构建AI应用的每一环节：最佳模型可选、成本优化、速度快低延迟、可定制模型、确保应用安全和负责任人工智能，以及构建和编排Agents。

现在Amazon Bedrock将全面升级，直接解决的就是这些问题：模型选择的自由度？如何平衡成本、延迟与准确率性？如何用私有数据定制大模型？大模型能确保我应用的安全吗？如何构建与编排Agents？五大关键难题。

1

模型选择，全面升级！

没有一个模型能够解决所有的问题，不同的用例有各自适合的模型。现在，模型选择再次大幅升级，提供来自全球九家领先人工智能公司的高性能基础模型。同时，发布全新的Amazon Bedrock Marketplace，提供一百多个模型！

  全新发布

Amazon Nova在Bedrock上可用

▼

全新发布的性价比王者Amazon Nova系列模型已上线Bedrock！

  全新发布

软件开发助手独角兽poolside

即将上线Bedrock

▼

poolside是一家专注优化软件开发工作流程的初创公司，能够出色地完成代码生成、测试、文档编写和其他开发任务。亚马逊云科技将是第一个提供poolside模型的云服务商。

  全新发布

图像生成王者Stable Diffusion 3.5

即将上线Amazon Bedrock

▼

Stable Diffusion 3.5是Stability AI目前最强大的图像生成模型，该模型基于Amazon SageMaker HyperPod训练，即将在Amazon Bedrock上线。

  全新发布

视频生成领域黑马Luma AI

即将上线Amazon Bedrock

▼

视频生成界的新星Luma AI，聚焦于3D内容生成，其突破性的视频生成模型即将上线Bedrock，为视频创作带来革命性的进步。

Luma AI CEO Amit Jain，介绍了全新的视频生成模型Luma RAY2。Luma RAY2可根据文本或图像指令生成高度逼真、制作质量一流的长视频。无论你是营销人员、设计师，还是视频制作人员，RAY2都将为你带来前所未有的创作力。

RAY2学习了1000倍于普通大模型的数据，完美利用了强大的Amazon SageMaker HyperPod，Luma AI仅用4个月就顺利完成RAY2的训练。

  全新发布

Amazon Bedrock Marketplace

上百基础模型一网打尽

▼

Amazon Bedrock Marketplace提供了来自领先供应商的100多种通用和行业模型。用户可以使用统一API来调用这些模型，并利用Amazon Bedrock的知识库、Guardrails、Agents等能力来构建应用。

2

成本、延迟和准确率的多项优化

开发人员需要花费大量时间评估模型是否符合他们的需求，尤其是成本和延迟等因素需要非常精细的平衡。

想象一个简单的应用场景，一个旅行规划网站，希望选择最佳模型来解决各种客户问题。比如说：“为我家人建议12月份的最佳旅游计划。”评估每个模型的响应速度、准确性和成本，最后测试模型A在响应速度和成本之间达到了平衡。然而，换一个复杂场景，比如：“为欧洲多个目的地创建7天的行程，并希望最后一天留在巴黎与一些朋友会面。”测试后发现测试模型B可以面对细节把控可以达到准确性和速度的平衡，但成本很高。

想象一下我们必须为数百种不同的场景不断地重复这一过程。然后，当客户请求模式发生变化或新模型可用时，必须再次重复。

这一问题将通过Bedrock新功能快速解决。

  全新发布

Amazon Bedrock支持提示词缓存

▼

降低成本，这是一个非常重大的突破。不降低响应速度，还可对多次API调用中常用提示词进行缓存来显著降低成本，特定模型效率提升85%和成本降低90%。

  全新发布

Amazon Bedrock智能提示词路由

▼

将提示词路由，调用设定好的最适合模型以获得最佳性价比，在无损质量、不影响准确性的情况下，成本降低30%。

3

充分利用私有数据

再次回到旅行规划网站的场景中，如何能够为不同客户提供定制的方案？这就需要充分利用私有数据。Amazon Bedrock知识库自动化了完整的RAG工作流程，囊括了编写自定义代码、集成数据源和管理查询。而数据源往往多而繁杂，难以检索到高质量的数据。

  全新发布

Amazon Kendra GenAI index

▼

全新的Amazon Kendra索引为知识库提供语义准确性高的托管检索方案，内置超过40种企业数据源，让跨应用程序连接数据变得简单。无论是存储在数仓或数据湖中的结构化数据，还是文档或PDF等非结构化数据，或图像、视频、文本相结合的多模态数据。

想象一下，对于“上个月华盛顿地区营业额最高的品类是什么？”为了处理此类自然语言查询的请求，需要创建一个SQL来过滤、连接表、聚合数据。

很多人会质疑，难道不能只是用提示词来解决吗？实际上，要高效地做到这一点并非那么简单，需要实施定制架构嵌入、查询分析、数据采样和查询纠正循环等等，同时解决诸如提示注入攻击等安全问题。为了管理这些任务，开发人员通常会花费时间构建复杂的自定义SQL，以实现准确的SQL查询。今天亚马逊云科技为客户解决了这一问题。

  全新发布

Amazon Bedrock知识库

支持结构化数据检索

▼

开箱即用的解决方案，为生成式AI本地查询各种来源的所有结构化数据。

很难用RAG生成响应，因为信息通常分散在多个数据源中。例如，让我们来看一个顾客向在线零售商咨询手机故障的场景。在线助手需要快速获取多个信息片段：购买记录、先前的工单、相关知识库中的产品详细信息。然后将所有这些不同的数据源联系起来，以提供量身定制的响应来解决此问题。

知识图谱能够创建数据之间的关系，捕获所有的信息。这些关系被转换为图嵌入应用，系统可以轻松遍历该图并检索这些连接。

开发人员需花费大量时间将图集成到RAG流程，但现在，Amazon Bedrock可以让整个过程变得更简单。

  全新发布

Amazon Bedrock知识库

支持GraphRAG

▼

自动生成知识图谱，并连接各种数据源之间的关系。

大多数企业数据都是非结构化的，在文档、视频、图像和音频文件等多模态中。然而非结构化数据很难提取，需要进行处理和转换才能为生成式AI做好准备。

  全新发布

Amazon Bedrock Data Automation

▼

该功能可自动将非结构化的多模态内容转换为结构化数据，无需编写任何代码。能自动提取、转换和处理所有的多模态内容，并实现大规模处理。

4

全面护航应用安全

随着生成式AI落地的场景越来越多，原有的防护措施就变得很难。Amazon Bedrock Guardrails提供了行业领先的安全保护，根据不同应用的要求和负责任的人工智能政策制定保障措施，能够阻止高达85%的有害内容。昨天亚马逊云科技发布了自动推理检查功能，以防止因幻觉产生的事实性错误。现在Guardrails增加了多模态有害内容检测功能。该功能扩展了Amazon Bedrock可配置的防护措施，支持图像数据。

5

多Agents协作解决复杂任务

Agents能够将复杂任务分解为可管理的步骤，就像一个经验丰富的专业人员一样工作。

全新发布的多Agents协作功能，构建、部署和编排多个Agents，协同处理复杂的多步骤任务。

新一代Amazon SageMaker

数据、分析与AI的中心

2024年re:Invent大会第二天，发布了全新一代的Amazon SageMaker。最为重要的是，Swami宣布Amazon SageMaker的定位发生了重大升级：它是所有数据、分析与人工智能的平台。针对生成式AI时代客户面临的数据分析、模型训练、资源成本等关键难题，Amazon SageMaker针对性地推出全新的专业工具与服务。

困境一

缺少统一的数据处理平台

Swami博士指出，随着数据分析和机器学习的项目越来越多，客户希望跨多个用例利用类似的数据集，不想在多个服务之间来回切换。

全新发布

Amazon SageMaker AI

Amazon SageMaker AI是一种全新的统一体验：它将亚马逊云科技在大数据分析、机器学习、模型开发和生成式AI方面的核心经验融合到一个统一平台中。为客户提供了工具和工作流程，从数据准备、参数调优、训练、部署到可观测性等，消除了机器学习和分析生命周期中的重复劳动。

困境二

大规模参数带来的模型训练与推理挑战

现在，在模型训练和推理方面仍有极大挑战。来看一个典型的例子，假设需要使用加速器训练一个大型语言模型，总共需要30天。这对实例需求很高，用户要花费大量时间在云服务上搜索可用容量。一旦获得了容量，就必须管理这些资源，保存和恢复检查点，并将更多训练数据移动到获得容量的区域。

而这一切，现在可以让Amazon SageMaker来为您高效处理。

全新发布

Amazon SageMaker HyperPod

flexible training plans

用户可以快速创建一个训练计划来自动获取容量，它会设置集群、创建模型训练作业，为团队提供训练模型所需的一切。HyperPod基于区域的容量块，根据项目的时间和预算，创建最佳训练计划。同时，自动处理任何实例中断情况，并在全球动态容量环境中帮助继续训练，无需任何手动干预。

困境三

如何跨团队、跨项目利用计算资源

计算资源有限且昂贵，要最大限度地提高利用率并有效分配资源，非常困难。假设有数千台Trainium2服务器，白天是峰值，夜间处于闲置状态，浪费大量资源与资金。

全新发布

Amazon SageMaker HyperPod

task governance

HyperPod任务治理通过自动化管理AI任务的优先级，最大限度提高计算资源利用率，降低40%的成本。使用HyperPod任务治理，用户可以轻松定义从推理到微调、训练等各种模型任务的优先级。

困境四

工具切换带来的时间损耗

客户已习惯使用一些人工智能开发应用，如comet、deepchecks、fiddler和LAKERA等，用于：跟踪和管理训练实验、评估模型质量、监控生产环境中的模型性能，以及保护AI系统免受安全威胁。将它们与Amazon SageMaker整合会耗费大量时间。

全新发布

亚马逊云科技合作伙伴的人工智能应用程序现已在Amazon SageMaker上可用

Amazon SageMaker集成了合作伙伴的应用，可加速模型开发生命周期，无需配置基础设施，确保数据在Amazon SageMaker上的安全和隐私。

全新的SageMaker AI统一了数据、分析和AI工作流，SageMaker HyperPod能够自动化管理训练资源，确保资源利用的最大化，与三方AI开发工具深度整合。

Amazon Q大幅提升企业生产力

Amazon Q让每个人都快速使用生成式AI，来提高整个团队的生产力，从开发人员、数据分析师到业务领域的用户。Amazon Q Developer专门面向开发者，端到端满足整个开发生命周期的需求。Amazon Q Developer Agents在SWE bench上名列榜首。全球范围的客户，如澳大利亚联邦银行、英国电信集团、美联航都使用Amazon Q Developer加速开发。

  全新发布

Amazon Q Developer在

Amazon SageMaker Canvas上可用

▼

即使从未编写过一行Python代码，只需用自然语言陈述业务问题，Q Developer就会指导构建机器学习模型！

不仅仅是开发人员的助手，还能提高业务用户的工作效率。Amazon Q Business帮助用户轻松连接到企业的数据和信息，通过回答问题、提供总结、生成内容来提高员工工作效率。美国国家橄榄球联盟NFL基于Amazon Q Business构建的系统，将新员工培训时间缩短了67%，员工可以在10秒内获得问题答案。

Amazon Q in QuickSight通过使用自然语言提示在几秒钟内构建、发现和共享见解。通过摘要、上下文情境问答问题、交互数据，以加速决策。

  全新发布

Amazon Q in QuickSight Scenarios

▼

用户可以用自然语言来解决复杂的业务问题。这一功能可以查找相关数据，进行分析，规划每一步，并执行任务，在每个步骤都提供详细的见解和建议。比传统的电子表格分析快10倍。

全力培养生成式AI时代的人才

Swami博士认为只有技术是不够的。正如所有员工都需要成长，学生们也需要在这个人工智能时代成长。而获得优质学习机会仍然是一大挑战，据联合国教科文组织统计，全球有5亿学生无法通过数字方式学习，其中最多的是来自贫穷和农村地区。

Swami博士宣布推出亚马逊云科技教育公平发展计划。这个计划将赋能各组织为全球学习者构建和扩展数字化学习。亚马逊云科技提出教育公平倡议，5年内投资近1亿美金，实现教育普惠。

Amazon Bedrock，解决今天我们最关注的大模型落地的效率问题！Amazon SageMaker解决资源利用和数据分析等大模型落地的速度问题！Amazon Q解决让人人都能用好生成式AI的生产工具问题！It is all about生产力！一个全新的AI生产力！