一名云计算从业者的思考

大家都在搜：

热搜词1 热搜词2 热搜词3

当前位置：首页 > 日常方案 > 正文内容

OpenSearch向量搜索实践：使用Flow Framework快速部署

anycodes4个月前 (07-16)日常方案1330

> 参考文档如下：
> -  https://docs.opensearch.org/docs/latest/automating-configurations/api/create-workflow/
> - https://docs.opensearch.org/docs/latest/automating-configurations/api/create-workflow/

----

## 简介

本教程将介绍如何使用OpenSearch的Flow Framework快速部署向量搜索功能，以及如何根据业务需求进行自定义配置。我们将严格按照OpenSearch官方文档进行操作，确保每个步骤都是可靠的。

## 先决条件

- 已部署的OpenSearch集群（2.9或更高版本）
- 具有适当权限的用户
- 基本的REST API调用工具（如curl、Postman或OpenSearch Dashboards的Dev Tools）

## 第一部分：使用Flow Framework快速部署

### 步骤一：设置必要的集群配置

在使用向量搜索前，需要确保集群设置正确配置：

```
PUT _cluster/settings
{
  "persistent": {
    "plugins.ml_commons.only_run_on_ml_node": "false",
    "plugins.ml_commons.model_access_control_enabled": "true",
    "plugins.ml_commons.native_memory_threshold": "99"
  }
}
```

### 步骤二：使用工作流部署预训练模型

使用Flow Framework自动化工作流部署语义搜索所需组件：

```
POST /_plugins/_flow_framework/workflow?use_case=semantic_search_with_local_model&provision=true
```

这个API调用会自动执行以下任务：
1. 注册并部署预训练的paraphrase-MiniLM-L3-v2模型
2. 创建ingest pipeline
3. 创建向量索引

### 步骤三：验证部署状态

部署完成后，验证工作流状态：

```
GET /_plugins/_flow_framework/workflow/YOUR_WORKFLOW_ID/_status
```

响应将显示工作流状态和创建的资源，包括：
- 模型ID
- 创建的pipeline
- 创建的索引

### 步骤四：验证模型部署情况

检查模型是否成功部署：

```
GET /_plugins/_ml/models/YOUR_MODEL_ID
```

确认模型状态为"DEPLOYED"。

### 步骤五：检查创建的索引

检查自动创建的索引配置：

```
GET /my-nlp-index/_settings
GET /my-nlp-index/_mappings
```

索引应包含knn_vector类型的字段，用于存储向量嵌入。

### 步骤六：摄取测试数据

向索引添加测试文档：

```
PUT /my-nlp-index/_doc/1
{
  "text": "OpenSearch是一个功能强大的搜索和分析引擎",
  "id": "doc1"
}

PUT /my-nlp-index/_doc/2
{
  "text": "向量搜索可以捕捉文本的语义含义",
  "id": "doc2"
}
```

### 步骤七：执行基本语义搜索

使用神经查询执行向量搜索：

```
GET /my-nlp-index/_search
{
  "_source": {
    "excludes": ["passage_embedding"]
  },
  "query": {
    "neural": {
      "passage_embedding": {
        "query_text": "搜索引擎",
        "model_id": "YOUR_MODEL_ID",
        "k": 2
      }
    }
  }
}
```

## 第二部分：自定义配置

除了使用自动工作流，也可以手动创建自定义配置。以下步骤展示如何使用已部署的模型创建自定义组件。

### 步骤一：创建自定义摄取管道

```
PUT /_ingest/pipeline/custom-nlp-pipeline
{
  "description": "自定义NLP处理管道",
  "processors": [
    {
      "text_embedding": {
        "model_id": "YOUR_MODEL_ID",
        "field_map": {
          "title": "title_embedding",
          "content": "content_embedding"
        }
      }
    }
  ]
}
```

此管道将为两个不同字段（title和content）生成向量嵌入。

### 步骤二：创建自定义向量索引

```
PUT /custom-nlp-index
{
  "settings": {
    "index.knn": true,
    "default_pipeline": "custom-nlp-pipeline"
  },
  "mappings": {
    "properties": {
      "id": {
        "type": "keyword"
      },
      "title": {
        "type": "text"
      },
      "content": {
        "type": "text"
      },
      "title_embedding": {
        "type": "knn_vector",
        "dimension": 384,
        "space_type": "l2"
      },
      "content_embedding": {
        "type": "knn_vector",
        "dimension": 384,
        "space_type": "l2"
      }
    }
  }
}
```

注意维度值384对应paraphrase-MiniLM-L3-v2模型的嵌入维度。

### 步骤三：创建自定义搜索管道

```
PUT /_search/pipeline/custom-search-pipeline
{
  "description": "自定义搜索处理管道",
  "phase_results_processors": [
    {
      "normalization-processor": {
        "normalization": {
          "technique": "min_max"
        },
        "combination": {
          "technique": "arithmetic_mean",
          "parameters": {
            "weights": [
              0.3,
              0.7
            ]
          }
        }
      }
    }
  ]
}
```

设置为索引的默认搜索管道：

```
PUT /custom-nlp-index/_settings
{
  "index.search.default_pipeline": "custom-search-pipeline"
}
```

### 步骤四：摄取测试数据

```
PUT /custom-nlp-index/_doc/1
{
  "id": "doc1",
  "title": "OpenSearch向量搜索简介",
  "content": "OpenSearch支持向量搜索，可以处理语义查询和混合查询。"
}

PUT /custom-nlp-index/_doc/2
{
  "id": "doc2",
  "title": "设置向量索引",
  "content": "创建向量索引需要指定维度和空间类型，并关联适当的摄取管道。"
}
```

### 步骤五：执行混合搜索

```
GET /custom-nlp-index/_search?search_pipeline=custom-search-pipeline
{
  "_source": {
    "excludes": ["title_embedding", "content_embedding"]
  },
  "query": {
    "hybrid": {
      "queries": [
        {
          "match": {
            "content": {
              "query": "向量 索引"
            }
          }
        },
        {
          "neural": {
            "content_embedding": {
              "query_text": "如何创建向量索引",
              "model_id": "YOUR_MODEL_ID",
              "k": 2
            }
          }
        }
      ]
    }
  }
}
```

## 应用场景与优势

自定义配置在实际业务中有多种应用场景。对于内容平台，可能需要对标题和正文分别进行向量化，并在搜索时赋予不同权重。在电商领域，产品描述、规格参数和用户评论都可能需要单独的向量表示，以实现更精准的搜索。

通过自定义配置，可以根据具体业务需求调整索引结构、字段映射和查询策略。这种灵活性使得OpenSearch能够适应从简单应用到复杂企业级场景的各种需求。

## 总结

OpenSearch提供了两种实现向量搜索的方式：通过Flow Framework快速部署，或通过手动配置实现定制化需求。初期开发时，建议使用自动化工作流快速搭建基础环境；当基本功能验证后，可以根据业务需求逐步引入自定义配置。

无论选择哪种方式，都能充分利用OpenSearch强大的向量搜索能力，实现语义理解和相似度匹配。从paraphrase-MiniLM-L3-v2到其他更高级模型，OpenSearch都提供了灵活的支持，使开发者能够根据需求和资源选择合适的解决方案。

扫描二维码推送至手机访问。

本文链接：https://runor.cn/?id=29

标签: OpenSearch 向量搜索语义检索机器学习自定义配置

分享给朋友：

返回列表

上一篇：使用Amazon S3与CloudFront搭建静态网站，确保内容仅通过CDN访问

下一篇：OpenSearch自定义模型上传详解：文件处理与分块机制深度解析

“OpenSearch向量搜索实践：使用Flow Framework快速部署” 的相关文章

刘博说云

大家都在搜：

OpenSearch向量搜索实践：使用Flow Framework快速部署

“OpenSearch向量搜索实践：使用Flow Framework快速部署” 的相关文章

短信防盗刷综合防护方案

管理AWS Kinesis Video Streams：理解流生命周期与自动化清理

AWS EC2自定义主机名管理系统

OpenSearch自定义模型上传详解：文件处理与分块机制深度解析

Amazon S3 文件大小限制及其实现方案

使用Amazon S3与CloudFront搭建静态网站，确保内容仅通过CDN访问

发表评论

Powered By Z-BlogPHP. Theme by TOYEAN.

刘博说云

大家都在搜：

OpenSearch向量搜索实践：使用Flow Framework快速部署

“OpenSearch向量搜索实践：使用Flow Framework快速部署” 的相关文章

短信防盗刷综合防护方案

管理AWS Kinesis Video Streams：理解流生命周期与自动化清理

AWS EC2自定义主机名管理系统

OpenSearch自定义模型上传详解：文件处理与分块机制深度解析

Amazon S3 文件大小限制及其实现方案

使用Amazon S3与CloudFront搭建静态网站，确保内容仅通过CDN访问

发表评论取消回复

Powered By Z-BlogPHP. Theme by TOYEAN.

发表评论