当向量数据库与云计算相遇:AI应用全面提速

如果将AI比作一台高速运转的机器引擎,那么数据便是它的燃料。

然而,存储数据的燃料库–传统数据库,在AI时代的效率瓶颈愈发明显,已经无法满足AI对于数据的全新需求。

因此,向量数据库近年来迅速崛起。向量数据库通过将非结构化数据转化为高维向量,转化为AI大模型能够“理解”的语义,犹如在数据与AI应用之间建立起桥梁,成为AI时代不可或缺的基础设施。

近日,亚马逊云科技出海大会在深圳召开。作为全球向量数据库公司领域的明星企业,Zilliz介绍了人工智能当下在数据层面所面临的挑战、向量数据库最新的市场动态和技术趋势,以及Zilliz如何与亚马逊云科技合作,将全球领先的基础设施、向量数据库服务以及生成式AI能力带给全球用户。

正如Zilliz 合伙人与产品负责人郭人通所言:“如果把人工智能的发展分为上、下半场,上半场主要是利用大规模数据去训练 AI 能力,支撑大模型或AI 能力的演进。而下半场,我们看到越来越多的智能体(Agent)深入到各个行业,反向产生海量的关键数据。因此,进入人工智能发展的下半场,企业更需要关注如何充分挖掘数据价值,实现AI应用的快速落地。”

向量数据库:AI时代不可或缺的数据基础设施

IDC预测,到2027年,全球86.8%的数据将是非结构化数据(如文本、图像、视频),但仅有18%的企业能有效利用这些数据。

对于AI而言,这些非结构化数据是极其宝贵的资源。那么,如何充分将非结构化数据利用起来就成为这个时代的一道必答题。

依靠传统数据库是否可行?面对生成式AI的检索增强生成(RAG)、多模态搜索等场景的高并发、低延迟的语义检索需求,传统关系型数据库的精确匹配模式显得笨拙且低效,而向量数据库则从传统数据湖中提取关键信息并编码成向量信息并构建索引,完美匹配了AI对于数据应用的需求。

因此,向量数据库已成为连接传统业务积累的原始数据与AI应用的关键环节,是AI时代不可或缺的数据基础设施。Zilliz 合伙人与产品负责人郭人通直言:“向量数据库可以帮助企业全面释放数据的潜力,从而让AI应用开发更加便捷与高效。”

Zilliz是一家专注向量数据库领域的明星企业。自2018年起,Zilliz便前瞻性地投入向量数据库系统的研发,其开源产品Milvus目前在GitHub上已获得超过3万星标,并吸引了数百位GitHub项目贡献者,并形成全球最大的向量数据库社区。

不过,向量数据库是否会是AI时代的唯一的选择?众所周知,当下很多传统数据库也在纷纷加入向量功能,以满足用户构建AI应用时的数据管理需求。对此,郭人通表示:“传统数据库与向量数据库是一对互补关系,而不是非此即彼的替代关系。对于一些传统数据分析类业务而言,传统数据库加入向量功能,可以很好地满足AI新需求;而对于一些新场景而言,天然就是围绕AI去构建,则需要专业的向量数据库。”

据悉,Zilliz在2023年开启商业化进程,凭借之前几年在开源领域的积累以及强大的技术实力,迅速在全球向量数据库市场获得突破。根据Forrester的评估,Zilliz在全球向量数据库领导者象限中排名第一,是目前向量数据库领域的领军企业。

在Zilliz商业化的过程中,与云服务商合作,借助云计算的力量,加速将优秀的向量数据库产品与服务推向全球用户,乃Zilliz近年来的成功之道。这其中,亚马逊云科技作为全球领先的云服务厂商,与Zilliz合作堪称典范。

郭人通表示:“Zilliz从创立之初就着眼于全球市场,亚马逊云科技凭借其全球覆盖的基础设施、稳定可靠的云和生成式AI服务、专业的安全合规理念与实践,以及全球营销和商业资源,为Zilliz全球业务拓展提供了有力支持,助力Zilliz触达全球头部企业级客户,并实现销量快速增长。”

当向量数据库与云计算相遇

众所周知,进入到AI时代,云计算已经成为众多新技术快速应用的最佳载体。云服务商无论是算力基础设施的规模、运维能力,还是资源使用模式,都能够为包括生成式AI、向量数据库等新技术提供最佳保障,可以让众多新技术企业将技术快速应用起来。

Zilliz与亚马逊云科技的合作就堪称AI时代的典范。通过与亚马逊云科技广泛和深入的合作,Zilliz快速为全球不同类型用户提供 24 小时不间断的向量数据库服务,助力全球企业及开发者打造高质量 AI 服务与应用。

具体来看,首先是在AI集成方面进行深度合作,Zilliz Cloud向量数据库解决方案通过应用Amazon Bedrock接入从文本到图像的一系列强大的基础模型,为企业提供原生的模型集成能力,支持用户构建Embedding流程与复杂的数据检索流程,轻松将非结构化数据转换为嵌入 ( Embedding)向量,简化数据处理流程,充分释放非结构化数据潜能。此外,Zilliz还应用完全托管的机器学习平台Amazon SageMaker,赋能开发人员和数据科学家快速构建、训练和部署机器学习模型,助力客户实现高效的向量索引和检索。

其次,Zilliz Cloud 基于Amazon Elastic Compute Cloud (Amazon EC2)丰富的实例类型实现了多实例类型与大规模部署,提供了包括性能型、容量型、存储扩展型等多套深度优化的解决方案,满足用户不同的负载需求。此外,基于Kubernetes容器编排服务Amazon Elastic Kubernetes Service(Amazon EKS) ,Zilliz可以在亚马逊云科技上使用 Kubernetes 轻松部署、管理和扩展容器化应用程序,提升整体资源利用率,并加速产品发布与迭代过程。Zilliz还将大部分应用运行在亚马逊云科技Amazon Graviton3实例之上,帮助应用成本优化提升20%以上。

第三,Zilliz Cloud 基于云中可大规模扩展的对象存储服务Amazon Simple Storage Service (Amazon S3)构建高可靠的数据存储与存算分离架构模式,大幅提升数据存储效率。

第四,Zilliz充分利用亚马逊云科技在安全合规上的积累,实现了向量数据库服务的安全与合作。通过应用Amazon Key Management Service(Amazon KMS)、Web应用程序防火墙Amazon WAF、Amazon ALB、Amazon GuardDuty等一系列网络和安全服务,Zilliz可持续监控恶意活动和未经授权的行为,构建安全可靠的向量数据库服务,实现对数据、应用和基础设施的安全保护,平均每日抵御上千条异常访问。此外,借助亚马逊云科技在数据安全标准与合规性上的众多认证,Zilliz可以满足各国监管机构的合规性要求,可在全球不同区域为客户提供安全合规的高质量服务。

最后,在运维层面,Zilliz应用Amazon Q 帮助技术团队更快熟悉亚马逊云科技的服务,简化信息访问、加强信息检索与优化配置,相比直接阅读产品文档,可为技术人员节省50%以上的检索时间。

据悉,通过与亚马逊云科技的合作,Zilliz如今已经实现全球业务快速扩张,目前已经完成了全球8个区域部署,横跨北美、欧洲和亚洲,满足全球用户就近接入需求;此外,Zilliz Cloud上架到亚马逊云科技Marketplace(海外区)之后,企业用户在Marketplace上面为服务付费即可,大幅简化了企业采购流程,使得Zilliz大幅提升销售转化。

“面向未来更大规模的AI数据应用,Zilliz还将继续与亚马逊云科技深耕合作,依托亚马逊云科技领先的云和生成式AI服务,构建更加稳定可靠的向量数据库基础设施,助力企业高效搭建AI应用,实现持续商业变革。”Zilliz 合伙人与产品负责人郭人通介绍道。

亚马逊云科技的出海战略升级

众所周知,2024 年是中国供应链全面深度出海的一年,中国企业走出去已经成为重要的趋势。

随之而来的,中国出海企业遇到的挑战也在不断增加,既有来来自地缘政治的不可控因素,也有各地区不同合规监管的迥异需求,更有生成式AI技术对于传统产品改革的变化,这一切都需要借助云计算、新技术来应对。

就像亚马逊云科技中国区行业集群总经理沈涛所言,过去十余年,亚马逊云科技始终站在支持中国企业出海的最前沿,提供全球一致的服务能力、开发工具与合规资源。 亚马逊云科技与Zilliz等合作伙伴一起,为出海企业提供更完整、更专业、更合规、更体系化的一站式服务,帮助中国企业持续在全球提升业务竞争力,航向深蓝。

事实上,为了更好地服务中国企业出海,亚马逊云科技已经对战略进行升级,建立起‘三横一纵’的支持体系,主要包括,三横:覆盖全球、稳定高可用的基础设施及领先的云和生成式 AI 服务 、专业的安全合规理念和技术能力提供一站式出海合规解决方案和全球资源及合作伙伴网络打造企业出海“朋友圈” 加速全球业务拓展;一纵则是聚焦出海9大行业的赋能,打造“行业解决方案资产库”。

“基于过往的经验,以及行业客户全链路出海的需求,更基于生成式AI重塑行业创新的新趋势,亚马逊云科技宣布全面升级中企出海业务战略,组建来自产品、业务拓展、合作伙伴、安全合规、解决方案、市场营销等各领域专家在内的专属支持团队及驻扎在全球各地的出海特种兵团队,更好地服务中国企业出海。”沈涛最后表示道。

分享到: 更多

为您推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注