什么是向量数据库？

向量数据库是一种以向量形式存储信息的数据库，向量是数据对象的数值表示，也称为向量嵌入。它利用这些向量嵌入的强大功能，对海量非结构化数据和半结构化数据（例如图像、文本或传感器数据）进行索引和搜索。向量数据库专为管理向量嵌入而构建，因此为管理非结构化和半结构化数据提供了完整的解决方案。

向量数据库不同于向量搜索库或向量索引：它是一种数据管理解决方案，支持元数据存储和筛选，可扩展，允许动态更改数据，执行备份，并提供了各种安全功能。

向量数据库通过高维向量来组织数据。高维向量会包含数百个维度，每个维度对应其所代表的数据对象的特定特征或属性。

向量嵌入是主题、单词、图像或任何其他数据的数值表示。向量嵌入（也称为嵌入）由大型语言模型和其他 AI 模型生成。

向量数据库或向量搜索引擎可利用每个向量嵌入之间的距离来确定向量之间的相似度。距离可以代表数据对象的几个维度，从而使机器学习和 AI 能够理解模式、关系和底层结构。

向量数据库的工作方式是使用算法对向量嵌入建立索引和进行查询的。这些算法通过哈希、量化或基于图表的搜索来实现近似最近邻 (ANN) 搜索。

为了检索信息，ANN 搜索会找到查询的最近邻向量。与 kNN 搜索（已知最近邻，或真正的 k 最近邻算法）相比，近似最近邻搜索的计算量较小，但准确性也较低。不过，它适用于高效、大规模地处理高维向量的大型数据集。

向量数据库管道类似于下图所示：

1. 索引：使用哈希、量化或基于图表的技术，向量数据库通过将向量映射到给定的数据结构为向量建立索引。这样可以实现更快的搜索速度。

   • 哈希：哈希算法（例如位置敏感哈希 (LSH) 算法）最适合近似最近邻搜索，因为它可以快速得到结果，并生成近似结果。LSH 使用哈希表（想一想数独谜题）来映射最近邻。查询会被散列到一个表中，然后与同一表中的一组向量进行比较，以确定相似度。
   • 量化：量化技术（例如乘积量化 (PQ)）会将向量分解成较小的部分，并用代码表示这些部分，然后将这些部分重新组合在一起。结果是一个向量及其分量的代码表示。这些代码的集合称为码本。当被查询时，使用量化的向量数据库会将查询分解为代码，然后将其与码本进行匹配，以找到最相似的代码来生成结果。
   • 基于图表：图表算法（例如分层可导航小世界 (HNSW) 算法）使用节点来表示向量。它会对节点进行聚类，并在相似节点之间绘制线或边，从而创建分层图表。启动查询后，这种算法会在图表层次结构中导览，以找到包含与查询向量最相似的向量的节点。

   向量数据库还会为数据对象的元数据建立索引。 因此，向量数据库将包含两个索引：向量索引和元数据索引。

    

2. 查询：当向量数据库接收到查询时，它会将索引向量与查询向量进行比较，以确定最近邻向量。为了建立最近邻，向量数据库依赖的是称为相似度度量的数学方法。目前有不同类型的相似度度量方法：

   • 余弦相似度建立的相似度范围在 -1 到 1 之间。通过测量向量空间中两个向量之间的夹角余弦，它可以确定向量是截然相反（用 -1 表示）、正交（用 0 表示），还是相同（用 1 表示）。
   • 欧氏距离通过测量向量之间的直线距离来确定 0 到无穷大范围内的相似度。完全相同的向量用 0 表示，数值越大，表示向量之间的差异越大。
   • 点积相似度度量可确定负无穷大到无穷大范围内的向量相似度。通过测量两个向量的数量级和它们之间夹角余弦的乘积，点积为彼此远离的向量赋予负值，为正交向量赋予 0 值，为指向同一方向的向量赋予正值。

3. 后处理：向量数据库管道的最后一步有时是后处理或后筛选，在这一步中，向量数据库将使用不同的相似度度量来对最近邻进行重新排序。在这个阶段，数据库将根据查询的元数据筛选在搜索中识别的最近邻。

   有些向量数据库可能会在运行向量搜索之前应用筛选器。在这种情况下，它称为预处理或预筛选。

向量数据库之所以重要，是因为它们包含向量嵌入，并可以实现一系列的功能，例如：索引、距离指标和相似度搜索。换句话说，向量数据库是专门为管理非结构化数据和半结构化数据而构建的。因此，向量数据库是机器学习和 AI 数字领域的重要工具。

向量数据库可能具有以下核心组成部分：

• 性能和容错：分片和复制的过程可确保向量数据库具有高性能和容错性。分片涉及在多个节点上对数据进行分区，而复制涉及在不同节点上创建多个数据副本。如果某个节点出现故障，这样就可以启用容错功能并确保性能持续稳定。
• 监测能力：为了确保性能和容错性，向量数据库需要监测资源使用情况、查询性能和整体系统运行状况。
• 访问控制功能：向量数据库同样需要数据安全管理。访问控制规定可确保合规性、问责制和审计数据库使用情况的能力。这也意味着数据受到保护：只有拥有权限的人员才能访问，并保留用户活动记录。
• 可扩展性和可调整性：良好的访问控制功能会影响向量数据库的可扩展性与可调整性。随着数据存储量的增加，横向扩展的能力就变得尤为重要。不同的插入率和查询率以及底层硬件的差异都会影响应用程序的需求。
• 多用户和数据隔离：在具备可扩展性和访问控制功能的同时，向量数据库还应能够为多用户或多租户提供支持。除此之外，向量数据库还应能够实现数据隔离，这样的情况下，除非另有要求，否则任何用户的活动（如插入、删除或查询）对其他用户而言都是私密的。
• 备份：向量数据库会定期创建数据备份。在系统发生故障时，备份就是向量数据库的一个关键组成部分 — 在数据丢失或数据损坏的情况下，备份可以帮助将数据库恢复到以前的状态。这样可以最大限度地减少中断时间。
• API 和 SDK：向量数据库使用 API 来实现用户友好的界面。API 是一种应用程序编程接口，或者说是一种软件，可让应用程序通过请求和响应相互“对话”。API 层简化了向量搜索体验。SDK（软件开发工具包）通常会封装多个 API，是数据库用于通信和管理的编程语言。SDK 有助于开发人员方便地使用向量数据库，因为他们在开发特定用例（语义搜索、推荐系统等）时不必担心底层结构。

传统数据库以表格形式存储信息，并通过为数据点赋值来建立数据索引。当收到查询时，传统数据库会返回与查询完全匹配的结果。

向量数据库以嵌入形式存储向量，支持向量搜索，并会基于相似度度量（而不是精确匹配）返回查询结果。向量数据库在传统数据库无法做到的方面进行了“提升”：其设计初衷就是用于处理向量嵌入。

在某些应用中，例如相似性搜索、人工智能和机器学习应用，向量数据库比传统数据库更适合，因为它支持高维搜索和定制索引，并且具有可扩展性、灵活性和高效性。

向量数据库可用于 AI、机器学习 (ML)、自然语言处理 (NLP)和图像识别应用。

• AI/ML 应用：向量数据库可以提升 AI 在语义信息检索和长期记忆方面的能力。
• NLP 应用：向量相似度搜索是向量数据库的关键组成部分，在自然语言处理应用中非常有用。向量数据库可以处理文本嵌入，这使计算机能够“理解”人类（或自然）语言。
• 图像识别和检索应用：向量数据库会将图像转换为图像嵌入。通过相似度搜索，它们能够检索相似的图像或识别匹配的图像。

向量数据库还可用于异常检测和人脸检测等方面的应用。

了解向量数据库如何为 AI 搜索提供支持。观看我们的网络研讨会，了解如何为您的项目打造现代搜索体验。

向量数据库的未来与人工智能和机器学习的发展息息相关，还与使用深度学习为结构化和非结构化数据生成更强大嵌入的研究相关¹。

随着创建更佳嵌入的能力不断提升，向量数据库更高效地处理和管理这些嵌入的能力也需要有新的技术和算法来提供支持。事实上，这类新方法一直在不断发展。

还有其他研究致力于开发混合数据库。这些数据库都旨在结合传统关系数据库和向量数据库的功能，以满足对高效和可扩展数据库日益增长的需求。

Elasticsearch 包含一个用于向量搜索的向量数据库。借助 Elastic，开发人员能够使用 Elasticsearch Relevance Engine (ESRE) 构建自己的向量搜索引擎。

使用 Elasticsearch 工具，您可以构建一个向量搜索引擎，以用于搜索非结构化和结构化数据，应用筛选和分面搜索，对文本和向量数据应用混合搜索，并在本地部署、云端或混合环境中运行的同时实现文档和字段级的安全性。Elasticsearch 的向量数据库和 Search AI 平台为开发人员提供了全面的混合搜索功能，并可访问顶级 LLM 提供商的创新成果。借助 Elastic 的低代码 Playground，开发人员可以在几分钟内使用自己的私有数据快速测试 LLM。

• 如何选择向量数据库？
• 什么是向量嵌入？
• Elasticsearch 向量数据库
• Elastic 的向量搜索基本原理
• 详细了解 ANN 算法
• 了解如何实现图像相似度搜索

¹ 作者：Gu, Huaping；"Unleashing the Power of Vectors: Embeddings and Vector Databases - Linkedin."（释放向量的力量：嵌入和向量数据库 - Linkedin。）LinkedIn，4 月 2 日2023, www.linkedin.com/pulse/unleashing-power-vectors-embeddings-vector-databases-huaping-gu