自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

铭毅天下(公众号同名)

【死磕Elasticsearch知识星球】http://t.cn/RmwM3N9;【Elasticsearch微信公众号】铭毅天下;【死磕ElasticsearchQQ群】626036393...

原创 潜心一技、做到极致!——Elastic认证工程师之路

20年2月3日我参加Elastic认证工程师考试,2020年2月5日中午得到认证结果:通过考试。 趁热打铁,将Elastic认证工程师考试相关内容、经验教训等和盘而出,希望对后续参加考试的同学有所帮助。 1、Elastic工程师有什么用? An Elastic Certifi...

2020-02-07 13:36:36

阅读数 3343

评论数 6

原创 重磅 | Elasticsearch7.X学习路线图

1、为什么要梳理学习路线图? 在关注Elastic 中文社区、QQ群、星球群的过程中,多多少少都会有一些基础问题冒出。而这些问题不复杂,多半都在官方文档中都有提及,稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。 基本上通过Google、bing都能直接或间接搜索到答案。 那么问题是...

2019-04-30 23:34:20

阅读数 11623

评论数 10

原创 让Elasticsearch飞起来!——性能优化实践干货

0、题记 Elasticsearch性能优化的最终目的:用户体验爽。 关于爽的定义——著名产品人梁宁曾经说过“人在满足时候的状态叫做愉悦,人不被满足就会难受,就会开始寻求。如果这个人在寻求中,能立刻得到即时满足,这种感觉就是爽!”。 Elasticsearch的爽点就是:快、准、全! 关于...

2018-12-19 23:01:39

阅读数 15597

评论数 11

原创 《死磕 Elasticsearch 方法论》:普通程序员高效精进的 10 大狠招!(完整版)

人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需。Elasticsearch 作为开源领域的后起之秀,从2010年至今得到飞跃式的发展。 Elasticsearch 以其开源、分布式、RESTFul API 三大优势,已经成为当下风口中“会飞的猪”。 阿里云...

2018-02-08 20:45:36

阅读数 31486

评论数 30

原创 Elasticsearch学习,请先看这一篇!

题记:Elasticsearch研究有一段时间了,现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度,从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的?(1)思考:大规模数据如何检索?如:当系统数据量上了10亿、100亿条的时候,我们在做系统架...

2016-08-18 21:08:36

阅读数 140241

评论数 43

原创 Elasticsearch的使用场景深入详解

了解了ES的使用场景,ES的研究、使用、推广才更有价值和意义。1、场景—:使用Elasticsearch作为主要的后端传统项目中,搜索引擎是部署在成熟的数据存储的顶部,以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的​​存储或其他经常需要的功能,如统计。 Elasticsea...

2016-08-17 08:40:56

阅读数 74260

评论数 13

原创 干货 | Elasticsearch开发人员最佳实战指南

题记几个月以来,我一直在记录自己开发Elasticsearch应用程序的最佳实践。本文梳理的内容试图传达Java的某些思想,我相信其同样适用于其他编程语言。我尝试尽量避免重复教程和El...

2020-04-06 23:17:12

阅读数 207

评论数 0

原创 Elasticsearch实战 | 如何从数千万手机号中识别出情侣号?

1、问题描述您好,请教个问题。我现在有2千多万的手机号码信息保存在es里。5个分片,3个节点。现在的需求是将后八位相同的号码匹配到一起,重新放到一个in...

2020-03-22 22:37:39

阅读数 904

评论数 0

原创 实战 | Elasticsearch自定义评分的N种方法

1、期望Elasticsearch搜索结果更准确,不可回避的三个问题问题1:用户真正的需求是什么?如果不能获得用户的搜索意图,搜索的准确性无从谈起。比如:同样输入“锤子”,工匠期望的是...

2020-03-11 22:01:12

阅读数 1327

评论数 0

原创 你用过Elasticsearch Percolate 反向检索吗?

题记percolator query 大家肯定在文档中见过,但实际业务中则较少用到。本文探究一下percolator query的使用方法、原理、适用场景。1、什么是percolator...

2020-02-27 23:14:00

阅读数 1872

评论数 0

原创 干货 | 95后运维小哥20天+通过Elastic认证考试经验分享

题记早上,收到95后的星友[在路上(昵称)]发的动态,得知其已经通过了Elastic认证考试。仔细一看,他准备时间只有20天左右,真厉害!为他高兴和点赞。运维小哥第一时间在星球做了分享,...

2020-02-25 22:31:34

阅读数 2185

评论数 0

原创 “金三银四“,敢不敢“试”?

临近3月份,到了“金三银四”换工作的高峰期,往年可能会3、4月份,今年特殊,多方渠道了解有可能到5、6月份。关注咱们公众号的朋友,都了解本公众号3年多的时间基本都发一些Elastic S...

2020-02-24 13:35:19

阅读数 3887

评论数 10

原创 干货 | Elasticsearch 索引设计实战指南

题记随着 Elastic 的上市,ELK Stack 不仅在 BAT 的大公司得到长足的发展,而且在各个中小公司都得到非常广泛的应用,甚至连“婚庆网站”都开始使用 Elasticsear...

2020-02-03 22:46:02

阅读数 3149

评论数 0

原创 2019,被催更了!2020,干就是了!

2019 年已经过去了 13 个小时,回望 2019,有没有哪个瞬间让自己真正感动呢? 这种瞬间的确很多、很多....... 2019 年参见了 Elastic 开发者大会,面基了很多社区中活跃的真大佬,得到了社区创始人 Medcl 的口头鼓励,很感动。 2019 年开发者大会后连夜写的总结...

2020-01-02 00:07:42

阅读数 4240

评论数 8

原创 Elasticsearch是一把梭,用起来再说?!

0、题记Elastic中文社区和各种Elastic爱好者交流群中会遇到形形色色的问题。来自运维球友讨论的真实线上吐槽问题总结:问题1:开发不规范。我们这边es 都是我们在推,很多开发不会...

2019-12-22 23:24:05

阅读数 3886

评论数 1

原创 探究 | Elasticsearch集群规模和容量规划的底层逻辑

0、引言实战中经常遇到的问题:问题 1:请问下大家是如何评估集群的规模?比如数据量达到百万,千万,亿万,分别需要什么级别的集群,这要怎么评估?ps:自己搭建的测试环境很难达到这一级别。问...

2019-12-14 23:36:06

阅读数 4089

评论数 4

原创 Elastic中国开发者大会2019干货分享

0、题记 由于2019年Elastic开发者大会下午分3个会场,使劲浑身解数也只能串了两个分场,所以下面的分享肯定信息不全面。 全面信息后续建议参考Elastic中文社区的PPT。文中可能的细节错误,欢迎大家留言指正。 您的参会干货和认知习得,也欢迎留言讨论交流。 1、感触 从没有见...

2019-12-07 23:21:57

阅读数 3863

评论数 1

原创 探究 | Elasticsearch 与传统数据库界限

0、引言现在几乎网上所有资料都说数据存储在传统数据库,再在 es 中同步一份数据作为检索使用,但是也都没有很详细的说明为什么要这么做,而且在 es 本身可以存储数据的情况下,存储两份数...

2019-12-03 23:38:52

阅读数 4002

评论数 1

原创 干货 | Elasticsearch基础但非常有用的功能之二:模板

1、 引言业务场景1:数据量非常大,需要进行索引生命周期管理,按日期划分索引,要求多个索引的Mapping一致,每次手动创建或者脚本创建都很麻烦! 怎么破?业务场景2:实际业务多个索引,想让多个索引中的相同名字的字段类型完全一致,以便实现跨索引检索。怎么破?思考上面两个问题,当单Mapping不能...

2019-11-23 16:48:40

阅读数 3776

评论数 0

转载 Elastic中国开发者大会的精彩日程现已上线

Elastic 中国开发者大会 2019(Elastic Dev Day China 2019)是由 Elastic 官方再一次在中国举办的开发者大会,主要围绕 Elas...

2019-11-21 21:39:29

阅读数 3702

评论数 0

原创 干货 | Elasitcsearch7.X集群、索引备份与恢复实战

1、问题引出 ES中文社区中,有如下问题: 问题1:存储数据,data目录从一个机器直接移到一台新的机器是否可以直接使用? 问题2:es升级时,data目录如果在外部路径,从低版本升级到高版本时,data目录是否直接可以使用? 问题3:将一个旧的es数据(400多G)迁移到新的es中的...

2019-11-14 00:19:36

阅读数 4928

评论数 0

原创 干货 | Elasticsearch7.X X-Pack基础安全实操详解

1、调查:你的Elasticsearch怎么做的安全防护? 背景:大家知道elasticsearch早期版本安全部分收费(7.1 & 6.8 版本之前),实际中各个公司6.x,5.x,2.x,1.x都有在用,且非少数。 群随机投票结果如下: 通过留言发现,大家使用2的比较多,历史包袱重,...

2019-11-02 23:07:05

阅读数 5832

评论数 4

原创 干货 | Elasticsearch 冷热集群架构实战

0、题记 Elasticsearch实战数据量级少的时候,单节点就能玩的很6,但是随着数据量的增长,多节点分布式横向扩展集群是大势所趋。 之前分享过基于时间创建索引及Curator实现索引生命周期管理。 当集群硬件资源有限,尤其SSD磁盘更紧俏的业务场景下,最大化集群的性能,如何让用户最关心的“热...

2019-10-13 23:18:34

阅读数 4172

评论数 0

原创 干货 | Elasticsearch7.X Scripting脚本使用详解

0、题记除了官方文档,其他能找到的介绍Elasticsearch脚本(Scripting)的资料少之又少。一方面:性能问题。官方文档性能优化中明确指出使用脚本会导致性能低...

2019-09-15 23:33:11

阅读数 5088

评论数 0

原创 信息过载的时代,程序员如何破局?

这是死磕Elasticsearch知识星球-静夜思模块的思考。1、没有时间,怎么精进技术?工作了以后,除了工作之外会感觉其他时间少之又少。尤其好多带娃的朋友感触更深吧。那...

2019-09-04 23:59:52

阅读数 6678

评论数 7

原创 Elasticsearch高级调优方法论之——根治慢查询!

1、引言Elasticsearch是非常灵活且功能丰富的搜索引擎,它提供了许多不同查询数据的方法。在实战业务场景中,经常会出现远远低于预期查询速度的慢查询。作为分布式系统...

2019-08-25 22:15:56

阅读数 5655

评论数 0

原创 Elasticsearch解决问题之道——请亮出你的DSL!

0、引言在业务开发中,我们往往会陷入开发的细枝末节之中,而忽略了事物的本源。经常有同学问到:1, 业务代码实现结果和kibana验证不一致。比如:我的python或者ja...

2019-08-11 23:58:20

阅读数 5815

评论数 2

原创 干货 | Elasticsearch、Kibana数据导出实战

1、问题引出 以下两个导出问题来自Elastic中文社区。 问题1、kibana怎么导出查询数据? 问题2:elasticsearch数据导出 就像数据库数据导出一样,elasticsearch可以么? 或者找到它磁盘上存放数据的位置,拷贝出来,放到另一个es服务器上或者转成自己要的数据格式? ...

2019-08-04 00:14:10

阅读数 10100

评论数 6

翻译 Elasticsearch性能优化实战指南

0、背景 在当今世界,各行各业每天都有海量数据产生,为了从这些海量数据中获取想要的分析结果,需要对数据进行提取、转换,存储,维护,管理和分析。 这已然远远超出了普通处理工具、数据库等的实现能力,只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。 Elasticsearch是响应如...

2019-07-29 23:18:11

阅读数 5342

评论数 0

原创 干货 | Logstash自定义正则表达式ETL实战

0、题记 本文建立在干货 | Logstash Grok数据结构化ETL实战上,并专注于在Grok中使用自定义正则表达式。 有时Logstash没有我们需要的模式。 幸运的是,我们有正则表达式库:Oniguruma。 Oniguruma是一个灵活的正则表达式库。 它包含多种语言的不同正则表达...

2019-07-19 22:20:24

阅读数 5459

评论数 0

原创 干货 | Logstash Grok数据结构化ETL实战

0、题记 日志分析是ELK起家的最核心业务场景之一。 如果你正在使用Elastic Stack并且正尝试将自定义Logstash日志映射到Elasticsearch,那么这篇文章适合您。 Logstash写入ES之前的中间数据处理过程一般叫做:数据ETL或者数据清洗。 本文重点介绍数据清洗...

2019-07-13 13:15:06

阅读数 5578

评论数 4

原创 Elastic认证考试,请先看这一篇!

题记 Elastic认证考试已经推出一年多,国内已经陆续有不少小伙伴考过。 经常有朋友留言,Elastic认证考试,考什么?难度大不大等。 其实:官网都已经有更详细、更准确的描述,建议直接读官网。(尤其后续官网可能会有更新) 本文仅对官网考点部分进行翻译、提炼、考点难度评定星级。 注意:...

2019-07-07 22:25:15

阅读数 9791

评论数 6

原创 如何做一次Elasticsearch技术分享?

0、问题引出 经群讨论,建议从以下几个方面展开,大家有好的想法,也欢迎留言交流。 1、可视化展示ELK效果 如果条件允许:demo的内容是:通过logstash 同步日志或数据库(oracle、mysql)表的数据到 Elasticsearch,然后通过kibana进行可视化。 ...

2019-06-30 23:47:18

阅读数 5978

评论数 0

转载 终于等到你,Elasticsearch7.X视频教程发布!

1、做搜索容易,做好搜索相当难。这是 Elastic 大佬 Wood 大叔在《熟练使用ES离做好搜索还差多远?》的回复。当时看到回复后,感觉振聋发聩。的确,经常在涉及检...

2019-06-24 22:43:33

阅读数 8064

评论数 7

原创 Elasticsearch的ETL利器——Ingest节点

1、问题引出 来自星球同学的提问: “Ingest node什么场景会遇到它? 一直没搜到它是在什么场景工作的?” 的确我们比较关心集群的节点角色的划分。包括: 集群应该几个节点? 几个节点用于数据存储? 要不要独立Master节点、协调节点? 但是Ingest no...

2019-06-22 23:03:21

阅读数 8270

评论数 2

原创 升级这十点认知,你就是大佬!

这是星球-静夜思模块里面一篇文章,有感于星球微信群的一次交流,连夜边思考边记录了下来。 静夜思模块完全是深夜里由感而发,大多包含但不限于: 认知的梳理 、方法论的探讨、各种问题的暗时间思考… 微信群机缘巧合,认识了很多领域的先行者、持续技术跟进者,统称或者俗称大佬。 比如:硅谷、腾讯云、...

2019-06-15 14:52:55

阅读数 5287

评论数 7

原创 实战 | ELK实现全量Elastic日报(2017-2019)多维度可视化分析

题记 Elastic社区主席M大、Elastic源码解析书作者超哥都曾多次强调Elastic日报是非常好的学习资料,然后呢? Elastic日报自2017年7月30日发布第一篇文章,截止2019年6月6日,近10位责任编辑累计贡献了1653篇文章。 日报分散在社区文章专区,全部看完至少需要翻...

2019-06-09 09:57:38

阅读数 5700

评论数 0

原创 Elasticsearch基础但非常有用的功能之一:别名

0、题记本文是系列文章第一篇。介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引,预先知道PB级大数...

2019-06-02 21:49:54

阅读数 5348

评论数 1

原创 干货 | Elasticsearch基础但非常有用的功能之一:别名

0、题记 本文是系列文章第一篇。介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引,预先知道PB级大数据索引实战中的坑,提升工作效率。 本文从别名分类、索引别名实践、索引别名的好处、索引别名常见问题及坑解读、字段别名实践一把...

2019-06-02 20:59:42

阅读数 8597

评论数 4

原创 干货 | Elasticsearch 7.1免费安全功能全景认知

0、背景 2019年5月21日,Elastic官方发布消息: Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。 这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色,并且使用 Spaces 为 Kibana ...

2019-05-26 00:42:34

阅读数 9585

评论数 1

提示
确定要删除当前文章?
取消 删除