ElasticSearch之Quick.ElasticSearch.Furion组件的使用

ElasticSearch 使用说明
本章，我们主要讲解在.Net 中对Quick.ElasticSearch.Furion的使用进行介绍！

ElasticSearch 的官方客户端 API 文档地址：https://www.elastic.co/guide/en/elasticsearch/client/index.html

ElasticSearch 的官方客户端 API 文档地址（.Net，ElasticSearch8.x）：https://www.elastic.co/guide/en/elasticsearch/client/net-api/current/index.html

ElasticSearch 的官方客户端 API 文档地址（.Net，ElasticSearch7.x）：https://www.elastic.co/guide/en/elasticsearch/client/net-api/7.17/index.html

我们知道，在.Net 中有Elasticsearch.Net和NEST等组件可以对 ElasticSearch 服务端进行各种操作。

但是，但是，但是，由于 ElasticSearch 提供的是各类 API 接口，并且查询参数（JSON）条件会有很深的嵌套，这就导致了Elasticsearch.Net和NEST等组件在使用的时候也有很深的内嵌条件，包括各种链式操作等，如果不是老手使用难度非常大，为了降低使用难度，Quick.ElasticSearch.Furion组件由此诞生了。

为了更好更简单的在.Net Core 中使用 ElasticSearch，特此基于NEST封装了Quick.ElasticSearch.Furion组件。

• Quick.ElasticSearch.Furion：依赖于.Net6+、Furion

Quick.ElasticSearch.Furion 包地址为：https://www.nuget.org/packages/Quick.ElasticSearch.Furion

关于 Quick.ElasticSearch.Furion 的详细使用说明，如下所示：

1、?? 更新日志

• 1.0.3

  • 调整（简化）了方法GetModelsAll、GetModelsAllAsync、GetModels、GetModelsAsync、GetModelsFields和GetModelsFieldsAsync的排序参数传入方式；

  • 调整了InsertModels和InsertModelsAsync方法的内部实现，判断是否有添加失败采用了Errors属性以及ItemsWithErrors错误对象集合；

  • 增加了InsertModelsBatch方法，分批添加数据，适用于大批量添加数据的情况；

  • 调整了GetGroupValues、GetGroupValuesAsync、GetGroupCount、GetGroupCountAsync、GetGroupCountSmma、GetGroupCountSmmaAsync、GetGroupsCount、GetGroupsCountAsync、GetGroupsDate、GetGroupsDateAsync、GetGroupsDateSmma、GetGroupsDateSmmaAsync、GetGroupsDateSub、GetGroupsDateSubAsync、GetStatiCount、GetStatiCountAsync、GetStatiSumMulti和GetStatiSumMultiAsync方法的内部实现；

  • 调整了AddLike扩展方式的实现方式为 Wildcard；

  • 增加了AddIn条件查询扩展方法，类似 SQL 的 IN 条件；

  • 对GetStatiSumMulti和GetStatiSumMultiAsync方法进行了性能优化，减少了 Http 请求次数。

• 1.0.2

  • 方法GetGroupsCount和GetGroupsCountAsync增加了第三个参数，以便于用户自定义返回统计数量的 Key 名称，默认为：GroupCount；

  • 增加了获取ElasticClient客户端对象方法：GetClient;

  • 增加获取所有索引的方法GetIndexs和GetIndexsAsync；

  • 增加了根据主键 Id 修改一个或多个字段值的方法UpdateModelFieldsById和UpdateModelFieldsByIdAsync；

  • 增加了根据查询条件修改一个或多个字段值的方法UpdateModelFieldsByCon和UpdateModelFieldsByConAsync；

  • 增加了根据 Id 字段获取一条数据的方法GetModel和GetModelAsync；

  • 调整了InsertModels和InsertModelsAsync方法的实现，由原来的Bulk（BulkAsync）调整为了IndexMany（IndexManyAsync）方式。

• 1.0.1

  • 增加了扩展方法 CreateEsQueryModel 和 AddEsQueryModel；

  • 重写了查询条件的使用方式；

  • 将所有涉及到查询条件的方法都进行了调整；

  • 简化了GetStatiSumMulti和GetStatiSumMultiAsync方法所需参数的传入方式;

  • 方法GetStatiSumMulti和GetStatiSumMultiAsync增加了第三个参数，错误回调方法。

• 1.0.0

  • 全新组件重磅发布；

  • 支持切换连接功能;

  • 支持检查创建删除索引；

  • 支持获取索引健康状态；

  • 支持添加数据；

  • 支持修改数据；

  • 支持删除数据；

  • 支持获取数据；

  • 支持分组统计查询；

  • 支持获取总条数、最大、最小、求和或平均值等。

2、?? Quick.ElasticSearch.Furion 使用说明

该组件是基于NEST和Furion组件进行封装使用的，目的在于结合.Net Core 更快、更简单和更灵活的使用 ElasticSearch！！！

组件使用对比：

假设我们要实现如下数据格式的统计：

[
    {
        "Name": "2021-01",
        "Count": 100,
        "Group": [
            {
                "Name": "碎石",
                "Count": 3,
                "Sum": 1000,
                "Max": 100,
                "Min": 10,
                "Avg": 50
            }
        ]
    }
]

使用 Quick.ElasticSearch.Furion 组件的代码如下：

//获取分组统计数据（日期字段分组，并按照另一个字段进行分组，统计其条数、总和、最大值、最小值和平均值）
//统计的时间间隔维度支持的表达式有（1y：1年、1q：1季度、1M：1个月、1w：1星期、1d：1天、1h：1小时、1m：1分钟、1s：1秒钟）
//定义查询条件：(Id >= 1)
var queryCon = QuickElasticSearchExtension
    //创建条件（默认创建了一个组合条件）
    .CreateEsQueryModel(
        EsQueryType.And,//和上一个EsQueryModel之间的连接类型（AND或OR操作，默认为AND操作）
        EsQueryType.And,//当前组合查询条件集合的连接类型，针对QueryCon而言（AND或OR操作，默认为AND操作）
        (queryCon) =>
        {
            //查询条件：(Id >= 1)
            queryCon.AddGte(m => m.Id, 1);
        });

//同步
var retGetGroupsDateSub = _quickElasticSearch.GetGroupsDateSub(m => m.CreateTime, m => m.UserName, m => m.UserAge, "1h", "yyyy-MM-dd HH:mm", queryCon);

//异步
var retGetGroupsDateSubAsync = await _quickElasticSearch.GetGroupsDateSubAsync(m => m.CreateTime, m => m.UserName, m => m.UserAge, "1h", "yyyy-MM-dd HH:mm", queryCon);

使用 NEST 组件的代码如下：

/// 

/// 获取分组统计数据（日期字段分组，并按照另一个字段进行分组，统计其条数、总和、最大值、最小值和平均值）
/// 
/// 
/// 要分组的字段（日期字段），格式如：m=>m.CreateTime
/// 另一个要分组的字段，格式如：m=>m.TypeName
/// 要统计总和、最大值、最小值和平均值的字段，格式如：m=>m.Price
/// 统计的日期间隔，默认为1M（支持的表达式有1y：1年、1q：1季度、1M：1个月、1w：1星期、1d：1天、1h：1小时、1m：1分钟、1s：1秒钟）
/// 统计的日期格式化方式，默认为yyyy-MM（注意大小写，完整的格式化格式为yyyy-MM-dd HH:mm:ss）
/// 动态查询条件
/// 返回元组对象，包含3个值，第一个为是否成功，第二个为失败的提示信息，第三个为>]]>的集合，格式如：[{"Name":"2021-01","Count":100,"Group":[{"Name":"碎石","Count":3,"Sum":1000,"Max":100,"Min":10,"Avg":50}]}]
public (bool IsSucc, string ErrMsg, List>? Data) GetGroupsDateSub(Expression> field, Expression> fieldGroup, Expression> fieldGroupStati, string dateInterval = "1M", string dateFormat = "yyyy-MM", List>? esQueryList = null) where T : class, new()
{
    try
    {
        //查询条件
        Func, QueryContainer> query = q =>
        {
            QueryContainer ret = q;

            if (esQueryList != null && esQueryList.Count > 0)
            {
                //组装条件为&&或||关系
                for (int i = 0; i < esQueryList.Count; i++)
                {
                    if (esQueryList[i].QueryCon.Count > 0)
                    {
                        if (i == 0)
                        {
                            ret = esQueryList[i].QueryType == EsQueryType.And ? q.Bool(b => b.Must(esQueryList[i].QueryCon)) : q.Bool(b => b.Should(esQueryList[i].QueryCon));
                        }
                        else
                        {
                            ret = esQueryList[i].PrevConType == EsQueryType.And ?
                                ret && (esQueryList[i].QueryType == EsQueryType.And ? q.Bool(b => b.Must(esQueryList[i].QueryCon)) : q.Bool(b => b.Should(esQueryList[i].QueryCon))) ://添加&&并且关系
                                ret || (esQueryList[i].QueryType == EsQueryType.And ? q.Bool(b => b.Must(esQueryList[i].QueryCon)) : q.Bool(b => b.Should(esQueryList[i].QueryCon))); //添加||或关系
                        }
                    }
                }
            }

            return ret;
        };

        var ret = new List>();

        var response = _client.Search(s => s
            .Index(GetIndexName())
            .Query(query)
            .Aggregations(ag => ag
                .DateHistogram("StatiGroup", dh => dh
                    .Field(field)                       //需要聚合分组的字段名称, 类型需要为date, 格式没有要求
                    .CalendarInterval(dateInterval)     //时间间隔，此处设置为1个月（1y：1年、1q：1季度、1M：1个月、1w：1星期、1d：1天、1h：1小时、1m：1分钟、1s：1秒钟）
                    .TimeZone("+08:00")                 //设置时区, 这样就相当于东八区的时间
                    .Format(dateFormat)                 //返回值格式化，HH大写，不然不能区分上午、下午
                    .MinimumDocumentCount(0)            //为空的话则填充0
                    .Order(HistogramOrder.KeyAscending) //根据日期字段升序排列

                    .Aggregations(ag => ag
                        .Terms("StatiGroup-1", t => t
                            .Field(fieldGroup)
                            .Size(_allConfig.MaxQueryCount)
                            .Order(o => o
                                .KeyAscending()  //按照分组字段升序排序
                                .CountAscending()//按照统计数量升序排序
                            )

                            //统计fieldStati字段的总和、最大值、最小值和平均值
                            .Aggregations(ags => ags
                                .Sum("StatiSum", m => m.Field(fieldGroupStati))         //求和
                                .Max("StatiMax", m => m.Field(fieldGroupStati))         //最大值
                                .Min("StatiMin", m => m.Field(fieldGroupStati))         //最小值
                                .Average("StatiAvg", m => m.Field(fieldGroupStati))     //平均值
                            )
                        )
                    )
                )
            )
            .TrackTotalHits(true)//TrackTotalHits必须设置为true，否则返回total总条数超过10000条时总是返回10000
        );

        if (response.IsValid)
        {
            //获取分组标识
            var stati = response.Aggregations["StatiGroup"];
            //获取分组后的集合
            var statiItems = ((BucketAggregate)stati).Items;

            foreach (var bucketMain in statiItems)
            {
                var item = (DateHistogramBucket)bucketMain;
                var retGroup = new List>();

                foreach (var bucket in ((Nest.BucketAggregate)(item.Values.ToList()[0])).Items)
                {
                    var obj = (KeyedBucket