帮云客户快速构建生成式AI应用这件事,正被全球最大云计算巨头亚马逊云科技做得越来越完善。
在7月11日举行的亚马逊云科技纽约峰会上,亚马逊云科技大晒生成式AI成绩单:96%的AI/ML独角兽将其业务跑在亚马逊云科技上, 2024福布斯AI 50榜单中有90%的企业使用了亚马逊云科技。
亚马逊云科技AI产品副总裁Matt Wood博士阐述了企业如何通过亚马逊云科技高效、大规模地整合过去十年的重大技术突破。据他分享,过去18个月,亚马逊云科技已发布326项生成式AI功能,所提供的正式可用的机器学习和生成式AI的产品功能数量是其他主要云服务提供商总和的两倍之多。
在此基础上,亚马逊云科技发布了一系列生成式AI技术栈的更新,进一步降低根据个性化需求定制生成式AI的门槛,让人人都能轻松构建企业级生成式AI应用。
这些更新将提供更高的生成结果准确性、更好的记忆功能、更方便的模型评估和治理、更全面的应用安全和隐私保护机制,帮助用户更加快速、安全、轻松地构建和部署生成式AI应用。
此外,亚马逊云科技还推出了一项生成式AI驱动的企业级应用Amazon App Studio的预览版,让IT项目经理、数据工程师和企业架构师等专业开发人员使用自然语言在整个组织内创建、部署和管理企业应用程序。
Amazon Bedrock是亚马逊云科技生成式AI技术栈的中间层,就像一个大模型货架般,提供了广泛的大语言模型及其他基础模型选择以及各种好用工具,使构建、部署和扩展生成式AI应用变得轻松快捷。
针对生成式AI长期被诟病的无法获取专属知识、胡说八道的幻觉、缺乏长期记忆等应用痛点,Amazon Bedrock推出多项功能更新,以提升用户使用生成式AI应用的体验,具体包括:
1、知识库功能增强Amazon Bedrock的数据连据器范围,加入了对广泛使用的第三方Web域数据源的连接,包括Confluence、Salesforce、SharePoint上的数据都可以轻松接入到Amazon Bedrock中,使得在这些Web域中存储日常数据的用户能够更方便地将生成式AI带入日常应用场景中。
2、在Guardrails中推出基于上下文基础检查的幻觉检测功能。用户可在Guardrails中设置针对生成结果准确性的关联值,低于这一设定阈值的生成结果就会被Guardrails判定为不相关的幻觉结果并不予显示。这项功能通过对上下文的基础性检查来提供,以更好避免基础模型产生的幻觉问题。
3、推出新API服务ApplyGuardrail,用于评估所有基础模型的输入提示和响应,使得用户能够在任何基础模型上使用Guardrails,即使是那些不受Amazon Bedrock支持的基础模型。构建者都可以配置一套标准化的防护措施,以确保其应用中的模型输入提示和模型响应拥有更加一致的表现。
4、Agent功能推出跨多个交互的记忆保留特性,解决生成式AI“记不住”的问题,可记录用户之前的历史交互信息,并基于此提供更为精准的个性化服务推荐。基于该功能构建的Agent,能够随时间推移学习并适应每个用户的独特需求和偏好,同时多个记忆之间完全分离,每个用户的对话历史和上下文都会安全地存储在唯一的记忆ID之下,有助于提升复杂任务代理下的用户体验。
5、Agent功能上线代码解释,支持Agent在安全的沙箱环境中动态生成和运行代码片段,从而显著提升其处理复杂任务的能力,包括数据分析、可视化、文本处理、方程求解和优化问题等,并支持多种数据类型和格式,同时在需要时由大语言模型决定是否调用该功能,以确保灵活性和安全性。
6、推出微调Anthropic Claude 3 Haiku功能的预览版,至此Amazon Bedrock成为唯一一款可以对Anthropic Claude系列模型进行微调的全托管服务,支持开发者利用自有数据定制应用程序,或在确保私有训练数据安全的前提下,训练模型的专属副本。
与此同时,Amazon MemoryDB的向量搜索功能已正式可用。Amazon MemoryDB以最高的召回率提供最快的向量搜索性能,非常适合需要个位数毫秒延迟的使用案例。此前亚马逊云科技已在一些最受欢迎的数据服务中推出了向量搜索功能。
位于亚马逊云科技生成式AI技术栈顶端的Amazon Q,定位是一个全面的生成式AI助手,能生成精准的代码建。