Elasticsearch Mapping

Elasticsearch Mapping 类似关系数据库的 schema（模式），Mapping 记录了索引的字段、字段数据类型，以及 Lucene 是怎样索引数据的。

在给新业务数据建索引时，需要进行的第一步就是 Mapping 设计。许多人不重视这个环节，数据量增大后就暴露出了问题。

创建和修改 Mapping API

设计 Mapping 就是为索引字段指定数据类型和索引方式。

可以在创建索引时指定 Mapping，Mapping 创建后不允许修改，可以继续添加 Mapping。

1、创建索引时指定 Mapping

 1PUT <INDEX_NAME>
 2{
 3  "settings": {},
 4  "mappings": {
 5    "properties": {
 6      "name": {
 7        "type": "text",
 8        "analyzer": "standard"
 9      }
10    }
11  },
12  "aliases": {}
13}
14# create index API

2、创建索引后添加 Mapping

1PUT <INDEX>/_mapping
2{
3  "properties": {
4    "email": {
5      "type": "keyword"
6    }
7  }
8}

在 Mapping 设计时需要注意的点：

1. text 和 keyword 的用途必须分清：分词和关键词（确定字段是否需要分词）
2. 确定字段是否需要独立存储
3. 字段类型创建后不支持修改，谨慎创建
4. 对不需要进行聚合/排序的字段禁用 doc_values

数据类型

基本数据类型

这里是大多数系统都支持的基本数据类型，它们有：

• binary：编码为 base64 字符串的二进制。
• boolean：仅支持 true 和 false 的布尔类型。
• keyword：支持精准匹配的类型，另外还有 const_keyword、wildcard 类型，支持聚合、排序功能
• text：全文检索类型
• 数字类型：integer、long、float、double 等
• 日期类型：date、date_nanos

keyword 与 text 对比：

• keyword：不分词，使用正排索引，支持聚合，范围查询

• text ：分词，使用倒排索引，用于全文检索，不适用于聚合

复杂数据类型

复杂数据类型是常见数据类型的组合。

• array 数据类型，所有元素的类型必须相同
• object 数据类型，存储嵌套的 JSON
• nested 数据类型，存储嵌套的 JSON
• flattened 数据类型，存储嵌套的 JSON，Elasticsearch 7.3 新增的数据类型
• Join 父子关系类型

object、nested、flattened 数据类型对比：

• object 类型：这是 Elasticsearch 存储 JSON 字段的数据类型，它将 JSON 字段拍平并为每个字段创建 Mapping，这些字段可以独立进行查询和聚合。
  • 优点：每个字段都创建了 Mapping，查询快
  • 缺点：JSON 拍平后会丢失对象关系^[1]^; 容易造成 Mapping 膨胀^[2]^
• nested类型：这是 Elasticsearch 提供的一种特殊数据类型，用于处理嵌套的 JSON 对象。与 object 类型不同，nested 类型会保留对象的内部结构，这使得它可以准确地处理包含多个对象的数组。但是，nested 查询和聚合比 object 类型复杂，它只能使用 nested 查询和聚合。
  • 优点：解决了 object 丢失 JSON 对象关系的缺点。
  • 缺点：查询复杂了；nested 存储查询更复杂。
• flattened 类型：用于处理任意深度的嵌套对象，它将整个 JSON 对象存储为一个字段，兼具 object 的特性，可很好地防止 Mapping 膨胀问题。

专用数据类型

• 坐标数据类型：用于保存地理位置信息，例如经纬度。
• IP 类型：表示 IPv4、IPv6 地址。
• completion 类型：用于实现高效的补全功能。

Mapping 元数据

• 标识元字段
  • _index：表示文档所属索引。
  • _id：文档 ID。
• 文档源元字段
  • _source：表示文档的原始 JSON 对象。
  • _size：表示 _source 字段的大小，单位为字节。
• 索引元字段
  • _field_names：表示给定文档中包含非空值的所有字段
  • _ignored：表示由于设置 ignore_malformed 而在索引时被忽略的字段
• 路由元字段
  • _routing：用于将给定文档路由到指定分片
• 其他元字段
  • _meta：可以自定义的元信息，通常理解为给索引加的必要注释信息
  • _tier：指定文档所属索引的数据层级别，如在查询文档时可以指定 data_hot、data_warm、data_cold 等

Mapping 内部数据

倒排索引

倒排存储是从单词到文档的映射关系的最佳实现形式。

倒排索引的特点：

• 在索引时创建
• 序列化到磁盘
• 全文搜索速度快
• 不适合做排序
• 默认开启

倒排索引适合的场景：

• 文本搜索引擎：作为搜索引擎的核心技术之一，倒排索引使搜索引擎能够迅速查询包含关键词的网页，为用户展示相关结果
• 文档检索系统：在知识库、图书馆等领域
• 企业内部搜索：搜索文件、邮件、会议记录
• 社交媒体分析：搜索话题和帖子
• 新闻和论文检索：搜索感兴趣关键词的新闻报告或者学术论文
• 数据挖掘：倒排索引适用于大量非结构化的数据，能结合数据挖掘算法来迅速找到包含有关键词的文本

正排索引

doc_values 被定义为“正排索引”。

在 Elasticsearch 中，正排索引（doc_values）是一种列式存储结构，默认情况下每个字段的 doc_values 都是激活的（除了 text 类型）。当字段索引时，Elasticsearch 为了能够快速检索，会把字段的值加入倒排索引，同时会存储该字段的正排索引。

正排索引的特点：

• 在索引时创建
• 序列化到磁盘
• 适合排序、聚合操作
• 将单个字段的所有值一起存储在单个数据列中
• 默认情况下，除 text 字段外所有字段类型均启用正排索引

fielddata

倒排索引用来解决哪些文档包含这些关键词的问题，正排索引用来解决排序、聚合问题。当一个字段为 text 类型，它不支持正排索引；当 text 类型的字段被用于聚合、排序或者脚本操作时，fielddata 会在内存中按需构建相应的数据。

fielddata 是通过从磁盘读取每一字段的完整倒排索引，反转词项（term）与文档之间的关系，并将结果存储在 JVM 堆内存中构建。

fielddata 特点:

• 仅适用于 text 类型字段
• 在查询时在内存中创建，不会被持久化
• 默认情况下是被禁用，构建它很昂贵

_source 与 store

_source 字段包含索引时传递的原始 JSON，它没有构建索引（因此无法搜索），但 ES 已经存储该字段，以便在执行搜索时将它返回。

_source 字段确实会引起存储开销，可以将其禁用，但是需要做好权衡。禁用 _source 后 reindex API、高亮、update 和 update_by_query API 都将不能使用。

store 可以只让 ES 存储部分文档字段，但副作用和禁用 _source 一样。

null_value 处理空值

null 是一个特殊值，在传统关系数据库中聚合和排序对它无效。在 ES 中，值为 null 的字段被认为无效，ES 不会索引它，后面就无法搜索到。但是业务中 null 往往有含义，经常需要搜索。ES 提供了 null_value 配置选项，可以设置一个默认值，当搜索 null 值时可以用默认值进行代替。

参考：

[1] https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html