一名云计算从业者的思考

大家都在搜：

热搜词1 热搜词2 热搜词3

当前位置：首页 > 日常方案 > 正文内容

OpenSearch向量搜索实践：使用Flow Framework快速部署

anycodes2个月前 (07-16)日常方案1210

> 参考文档如下：
> -  https://docs.opensearch.org/docs/latest/automating-configurations/api/create-workflow/
> - https://docs.opensearch.org/docs/latest/automating-configurations/api/create-workflow/

----

## 简介

本教程将介绍如何使用OpenSearch的Flow Framework快速部署向量搜索功能，以及如何根据业务需求进行自定义配置。我们将严格按照OpenSearch官方文档进行操作，确保每个步骤都是可靠的。

## 先决条件

- 已部署的OpenSearch集群（2.9或更高版本）
- 具有适当权限的用户
- 基本的REST API调用工具（如curl、Postman或OpenSearch Dashboards的Dev Tools）

## 第一部分：使用Flow Framework快速部署

### 步骤一：设置必要的集群配置

在使用向量搜索前，需要确保集群设置正确配置：

```
PUT _cluster/settings
{
  "persistent": {
    "plugins.ml_commons.only_run_on_ml_node": "false",
    "plugins.ml_commons.model_access_control_enabled": "true",
    "plugins.ml_commons.native_memory_threshold": "99"
  }
}
```

### 步骤二：使用工作流部署预训练模型

使用Flow Framework自动化工作流部署语义搜索所需组件：

```
POST /_plugins/_flow_framework/workflow?use_case=semantic_search_with_local_model&provision=true
```

这个API调用会自动执行以下任务：
1. 注册并部署预训练的paraphrase-MiniLM-L3-v2模型
2. 创建ingest pipeline
3. 创建向量索引

### 步骤三：验证部署状态

部署完成后，验证工作流状态：

```
GET /_plugins/_flow_framework/workflow/YOUR_WORKFLOW_ID/_status
```

响应将显示工作流状态和创建的资源，包括：
- 模型ID
- 创建的pipeline
- 创建的索引

### 步骤四：验证模型部署情况

检查模型是否成功部署：

```
GET /_plugins/_ml/models/YOUR_MODEL_ID
```

确认模型状态为"DEPLOYED"。

### 步骤五：检查创建的索引

检查自动创建的索引配置：

```
GET /my-nlp-index/_settings
GET /my-nlp-index/_mappings
```

索引应包含knn_vector类型的字段，用于存储向量嵌入。

### 步骤六：摄取测试数据

向索引添加测试文档：

```
PUT /my-nlp-index/_doc/1
{
  "text": "OpenSearch是一个功能强大的搜索和分析引擎",
  "id": "doc1"
}

PUT /my-nlp-index/_doc/2
{
  "text": "向量搜索可以捕捉文本的语义含义",
  "id": "doc2"
}
```

### 步骤七：执行基本语义搜索

使用神经查询执行向量搜索：

```
GET /my-nlp-index/_search
{
  "_source": {
    "excludes": ["passage_embedding"]
  },
  "query": {
    "neural": {
      "passage_embedding": {
        "query_text": "搜索引擎",
        "model_id": "YOUR_MODEL_ID",
        "k": 2
      }
    }
  }
}
```

## 第二部分：自定义配置

除了使用自动工作流，也可以手动创建自定义配置。以下步骤展示如何使用已部署的模型创建自定义组件。

### 步骤一：创建自定义摄取管道

```
PUT /_ingest/pipeline/custom-nlp-pipeline
{
  "description": "自定义NLP处理管道",
  "processors": [
    {
      "text_embedding": {
        "model_id": "YOUR_MODEL_ID",
        "field_map": {
          "title": "title_embedding",
          "content": "content_embedding"
        }
      }
    }
  ]
}
```

此管道将为两个不同字段（title和content）生成向量嵌入。

### 步骤二：创建自定义向量索引

```
PUT /custom-nlp-index
{
  "settings": {
    "index.knn": true,
    "default_pipeline": "custom-nlp-pipeline"
  },
  "mappings": {
    "properties": {
      "id": {
        "type": "keyword"
      },
      "title": {
        "type": "text"
      },
      "content": {
        "type": "text"
      },
      "title_embedding": {
        "type": "knn_vector",
        "dimension": 384,
        "space_type": "l2"
      },
      "content_embedding": {
        "type": "knn_vector",
        "dimension": 384,
        "space_type": "l2"
      }
    }
  }
}
```

注意维度值384对应paraphrase-MiniLM-L3-v2模型的嵌入维度。

### 步骤三：创建自定义搜索管道

```
PUT /_search/pipeline/custom-search-pipeline
{
  "description": "自定义搜索处理管道",
  "phase_results_processors": [
    {
      "normalization-processor": {
        "normalization": {
          "technique": "min_max"
        },
        "combination": {
          "technique": "arithmetic_mean",
          "parameters": {
            "weights": [
              0.3,
              0.7
            ]
          }
        }
      }
    }
  ]
}
```

设置为索引的默认搜索管道：

```
PUT /custom-nlp-index/_settings
{
  "index.search.default_pipeline": "custom-search-pipeline"
}
```

### 步骤四：摄取测试数据

```
PUT /custom-nlp-index/_doc/1
{
  "id": "doc1",
  "title": "OpenSearch向量搜索简介",
  "content": "OpenSearch支持向量搜索，可以处理语义查询和混合查询。"
}

PUT /custom-nlp-index/_doc/2
{
  "id": "doc2",
  "title": "设置向量索引",
  "content": "创建向量索引需要指定维度和空间类型，并关联适当的摄取管道。"
}
```

### 步骤五：执行混合搜索

```
GET /custom-nlp-index/_search?search_pipeline=custom-search-pipeline
{
  "_source": {
    "excludes": ["title_embedding", "content_embedding"]
  },
  "query": {
    "hybrid": {
      "queries": [
        {
          "match": {
            "content": {
              "query": "向量 索引"
            }
          }
        },
        {
          "neural": {
            "content_embedding": {
              "query_text": "如何创建向量索引",
              "model_id": "YOUR_MODEL_ID",
              "k": 2
            }
          }
        }
      ]
    }
  }
}
```

## 应用场景与优势

自定义配置在实际业务中有多种应用场景。对于内容平台，可能需要对标题和正文分别进行向量化，并在搜索时赋予不同权重。在电商领域，产品描述、规格参数和用户评论都可能需要单独的向量表示，以实现更精准的搜索。

通过自定义配置，可以根据具体业务需求调整索引结构、字段映射和查询策略。这种灵活性使得OpenSearch能够适应从简单应用到复杂企业级场景的各种需求。

## 总结

OpenSearch提供了两种实现向量搜索的方式：通过Flow Framework快速部署，或通过手动配置实现定制化需求。初期开发时，建议使用自动化工作流快速搭建基础环境；当基本功能验证后，可以根据业务需求逐步引入自定义配置。

无论选择哪种方式，都能充分利用OpenSearch强大的向量搜索能力，实现语义理解和相似度匹配。从paraphrase-MiniLM-L3-v2到其他更高级模型，OpenSearch都提供了灵活的支持，使开发者能够根据需求和资源选择合适的解决方案。

扫描二维码推送至手机访问。

本文链接：https://runor.cn/?id=29

标签: OpenSearch 向量搜索语义检索机器学习自定义配置

分享给朋友：

返回列表

上一篇：使用Amazon S3与CloudFront搭建静态网站，确保内容仅通过CDN访问

下一篇：OpenSearch自定义模型上传详解：文件处理与分块机制深度解析

刘博说云

大家都在搜：

OpenSearch向量搜索实践：使用Flow Framework快速部署

“OpenSearch向量搜索实践：使用Flow Framework快速部署” 的相关文章

OpenSearch自定义模型上传详解：文件处理与分块机制深度解析

在AWS EKS上安装Karpenter的完整指南

在Windows WSL上安装Amazon Q开发者CLI的完整指南

Amazon S3 文件大小限制及其实现方案

AWS S3接入点查询与分析方法

AWS与Azure云环境互联的三种主要方案

发表评论

Powered By Z-BlogPHP. Theme by TOYEAN.

刘博说云

大家都在搜：

OpenSearch向量搜索实践：使用Flow Framework快速部署

“OpenSearch向量搜索实践：使用Flow Framework快速部署” 的相关文章

OpenSearch自定义模型上传详解：文件处理与分块机制深度解析

在AWS EKS上安装Karpenter的完整指南

在Windows WSL上安装Amazon Q开发者CLI的完整指南

Amazon S3 文件大小限制及其实现方案

AWS S3接入点查询与分析方法

AWS与Azure云环境互联的三种主要方案

发表评论取消回复

Powered By Z-BlogPHP. Theme by TOYEAN.

发表评论