Provides comprehensive guidance for Elasticsearch including indexing, mappings, query DSL, aggregations, analyzers, cluster management, and ELK Stack integration. Use when the user asks about Elasticsearch, needs to implement search functionality, work with Elasticsearch queries, or manage Elasticsearch clusters.
Elasticsearch 是基于 Apache Lucene 的分布式搜索和分析引擎，提供近实时的全文搜索、结构化搜索、聚合分析、地理空间查询和向量搜索能力。
遇到 ES 相关需求时按以下顺序决策:
Step 1: 明确场景
├── 全文搜索? → Step 2
├── 结构化数据分析 (日志/指标)? → Step 2
├── 向量/KNN 搜索? → references/ 向量搜索
├── 地理空间查询? → references/ 地理查询
├── 集群运维/性能问题? → references/ 07-cluster-ops
└── 数据管道/日志采集? → references/ 08-elk-integration
Step 2: 设计索引 (Mapping + Analyzer)
├── 确定字段类型 (text/keyword/date/geo/nested…)
├── 选择分词器 (standard/ik/pinyin/自定义)
├── 规划主分片数 (每个分片 20-50GB), 建后不可改
└── 设置别名用于零停机重建
Step 3: 写入数据
├── Index API (单条), Bulk API (批量, 5-15MB/批)
├── _update (部分更新), _update_by_query (条件更新)
└── Logstash/Filebeat (日志采集管道)
Step 4: 构建查询
├── 全文搜索: match / multi_match / query_string
├── 精确过滤: term / terms / range / exists / bool filter
├── 复合查询: bool (must/should/filter/must_not)
├── 聚合分析: terms + avg → references/ 聚合专题
└── 排序/分页: sort / search_after (深度分页) / scroll (导出)
Step 5: 持续优化
├── 性能问题? → Profile API + 慢查询日志
├── 数据增长? → ILM + Rollover 自动化 (references/ 07-cluster-ops)
├── Mapping 变更? → Reindex + Alias 零停机 (examples/03)
└── 查询优化? → filter 优先 query, 避免 script, 限制 _source
| ✅ 使用 ES | ❌ 不要用 ES | |-----------|-------------| | 全文搜索 — 商品/文章/文档关键词搜索 | 复杂事务 — 需要 ACID/多表 JOIN, 选 PostgreSQL | | 日志/指标分析 — ELK Stack 日志场景 | 键值缓存 — 简单 KV 查询, 选 Redis | | 搜索型应用 — 电商/知识库/文档管理 | 强 Schema 约束 — 需要外键/触发器, 选 RDBMS | | 聚合/仪表盘 — 实时统计 + Kibana 可视化 | 海量文档存储无需搜索 — 选 MongoDB | | 地理空间查询 — 附近的人/POI/地理围栏 | 纯 OLAP 分析 — PB 级离线分析, 选 ClickHouse | | 向量搜索 — 语义相似度/RAG 检索 | 消息队列 — 选 Kafka/Pulsar |
核心原则：Elasticsearch 是搜索服务器，不是关系型数据库的替代品。
| ✅ 完全适用 | ⚠️ 有条件适用 | ❌ 不适用 | |-----------|--------------|---------| | 全文搜索、模糊搜索、相关性排序 | 强一致性（ES 是近实时，默认 1s refresh） | 代替关系型数据库做核心业务存储 | | 日志/指标聚合分析 (Kibana) | 秒级以下数据可见性（需调 refresh_interval） | 复杂 JOIN 查询（ES 有有限 nested 支持）| | 地理空间、自动补全、搜索建议 | 极高写入量（需调优线程池和批量写入） | ACID 事务保证 | | 文档搜索、知识库、RAG 检索 | 50+ 节点大集群（需专用协调节点） | 存储二进制大文件（存 OSS 路径） | | 时序数据 + ILM 滚动 | PB 级深度分页（需 search_after / PIT） | 强关联约束数据模型 | | 向量搜索 (dense_vector + KNN) | 自定义分词器（需先测试分析效果） | 替代 Kafka 做消息队列 |
| 概念 | ES 术语 | 关系型 DB 类比 | 关键说明 | 深度参考 | |------|---------|---------------|---------|---------| | Index | 索引 | Table | 存储文档的逻辑命名空间，名称必须小写 | references/05 | | Document | 文档 | Row | JSON 格式基本数据单元，不可变（update = delete+index） | — | | Shard | 分片 | Partition | 水平切分单元，主分片数建后不可改，推荐 20-50GB/分片 | references/07 | | Replica | 副本 | Replica | 冗余副本提供高可用和读扩展，可动态调整 | references/07 | | Mapping | 映射 | Schema | 定义字段类型和分词配置，已有字段类型不可修改 | references/05 | | Analyzer | 分词器 | — | text 字段必须配置，决定搜索质量 | references/06 |
| 查询类别 | 核心查询 | 用途 | 深度参考 | |---------|---------|------|---------| | 全文查询 | match / match_phrase / multi_match / query_string | 文本分词搜索、短语匹配、多字段搜索 | references/01 | | 精确查询 | term / terms / range / exists / ids | keyword 字段精确匹配、范围过滤、存在检查 | references/02 | | 复合查询 | bool (must/filter/should/must_not) | 90% 搜索需求可用 bool 实现 | references/02 | | 嵌套/父子 | nested / has_child / has_parent | 对象内跨字段关联、父子关系查询 | references/02 | | 地理查询 | geo_distance / geo_bounding_box / geo_shape | 附近查询、矩形区域、复杂地理形状 | 见 geospatial 技能 | | 向量查询 | knn 参数 / k-NN 插件 | 语义相似度、RAG 检索 | references/05 | | 特殊查询 | fuzzy / wildcard / regexp / script / percolate | 模糊纠错、通配符、脚本、反向搜索 | references/02 |
| 聚合类型 | 核心聚合 | 类似 SQL | 深度参考 | |---------|---------|---------|---------| | 指标聚合 | avg / sum / min / max / stats / cardinality / percentiles | AVG / SUM / COUNT(DISTINCT) / PERCENTILE | references/03 | | 桶聚合 | terms / date_histogram / histogram / range / filters | GROUP BY / 日期分组 / 区间分组 / 过滤分组 | references/04 | | 管道聚合 | derivative / moving_fn / bucket_script / bucket_selector | 环比 / 移动平均 / 子聚合计算 / HAVING | references/04 |
| 运维领域 | 关键要点 | 深度参考 | |---------|---------|---------| | 节点类型 | Master(3个专用) + Data(SSD) + Coordinating(大查询) | references/07 | | 分片管理 | 分配/再平衡/reroute/延迟分配 | references/07 | | 快照备份 | S3/FS/GCS 仓库, SLM 自动管理, 增量快照 | references/07 | | ILM 生命周期 | hot → warm → cold → frozen → delete 自动化 | references/07 | | 监控命令 | _cluster/health, _cat/nodes, _cat/shards, hot_threads | references/07 | | 安全 | RBAC 角色, 字段/文档级安全, TLS, API Key | references/07 |
| # | 陷阱 | 问题 | 解决方案 |
|---|------|------|---------|
| 1 | term 查询 text 字段 | text 被分词，找不到精确值 | 用 match 或 .keyword 子字段 |
| 2 | from+size 深度分页 | 越深越慢直至 OOM (限制 10000) | 深翻页用 search_after，导出用 scroll/PIT |
| 3 | 建索引后改主分片数 | 建后不可修改 | 提前规划，或重建索引 (reindex) |
| 4 | 所有字段用 text | 聚合/排序报错 | text + keyword 多字段 |
| 5 | 依赖动态映射 | 时间戳被识别为 long 等 | 生产环境显式 mapping |
| 6 | 嵌套对象用普通查询 | 跨字段关联条件误匹配 | 必须用 nested 查询 |
| 7 | 分片过多或过少 | 过多→管理开销大，过少→无法扩展 | 每个分片 20-50GB |
| 8 | 大批量写入不做优化 | 频繁 refresh 产生大量小段 | 关闭 refresh (-1), Bulk API, 副本=0 |
| 9 | 忽略 filter 缓存 | 重复计算，性能差 | 不需要算分的条件放 filter |
| 10 | wildcard/regexp 前缀搜索 | 不利用倒排索引，性能极差 | 用 prefix 或 edge_ngram |
| 11 | 脚本查询滥用 | 不可缓存，性能差，调试困难 | 用 ingest pipeline 预处理 |
| 12 | 集群角色不做分离 | Master 因 Data GC 失联 | 专用 3 个 Master 节点 |
| 13 | 日志索引无 ILM | 索引无限增长 | ILM 自动化滚动/压缩/删除 |
| 14 | 忽略 ignore_above | keyword 超长导致索引失败 | 设置 ignore_above: 256 |
| 15 | 在 text 字段开 fielddata | 内存消耗大 | 用 .keyword 多字段替代 |
Q1: ES 是关系型数据库的替代品吗？ 不是。ES 是搜索服务器，不支持 ACID 事务、外键、复杂 JOIN。正确架构：业务数据存 RDBMS，ES 做搜索和聚合。
Q2: 数据写入后多久能查到？
近实时。写入先到 buffer，默认 1s refresh 后才可搜索。可调 refresh_interval 或加 ?refresh 参数。
Q3: text 和 keyword 字段区别？ text：分词后索引，支持 match 搜索，不支持排序/聚合。keyword：完整值索引，支持 term 搜索、排序、聚合。
Q4: 主分片数为什么不能修改？
路由规则 hash(_id) % shards，修改后已有数据无法定位。变更需 reindex。
Q5: 如何选择分片数？ 每个分片 20-50GB。500GB 原始数据 → 10-25 个主分片。每个节点 ≤25 分片/GB 堆内存。
Q6: ES 为什么搜索快？ 倒排索引：将每个词项映射到文档列表，查找直接定位。加分片并行 + filter 缓存。
Q7: 聚合 (Aggregation) 是什么？ Bucket = GROUP BY 分组，Metric = AVG/SUM/COUNT，Pipeline = 聚合结果的再分析。详见 references/03, references/04。
Q8: Green/Yellow/Red 状态？ Green=全正常，Yellow=主分片正常但副本未分配，Red=主分片丢失。
Q9: 如何零停机重建索引？ Alias + Reindex：创建新索引 → Reindex 数据 → 原子切换 Alias → 删除旧索引。见 examples/03。
Q10: ES 和 Solr 怎么选？ ES 集群管理内置、近实时搜索 1s、聚合强大、ELK 生态完整。Solr 依赖 ZK，配置复杂。
Q11: Mapping 可以修改吗？ 可新增字段，不可修改已有字段类型（如 text→keyword），需重建索引。
Q12: search_after 和 from+size 区别？ from+size 深度分页 OOM（限制 10000）。search_after 基于排序值翻页，性能与深度无关。
Q13: 数据备份怎么做？ Snapshot API 备份到 S3/GCS/FS。推荐 SLM 自动管理。增量快照只存变化。
Q14: 查询慢如何排查？ Profile API → 慢查询日志 → filter vs query → segments 数量 → GC 日志。
Q15: ILM 能解决什么问题？ 自动滚动（大小/时间阈值）、自动迁移（热→温→冷）、自动压缩、自动删除。
elasticsearch, ES, 搜索引擎, 全文搜索, 倒排索引, Lucene, index, mapping, document, shard, replica, analyzer, ik, pinyin, 查询 DSL, match, term, bool, filter, range, multi_match, query_string, nested, geo, aggregation, 聚合, terms, date_histogram, avg, sum, cardinality, percentiles, pipeline, reindex, bulk, scroll, search_after, ILM, rollover, force_merge, alias, snapshot, cluster, ELK, Logstash, Kibana, Filebeat, KNN, dense_vector, 向量搜索, painless, ingest pipeline, RBAC, profile API, 慢查询, zero downtime