自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

铭毅天下(公众号同名)

【死磕Elasticsearch知识星球】http://t.cn/RmwM3N9;【Elasticsearch微信公众号】铭毅天下;【死磕ElasticsearchQQ群】626036393...

原创 潜心一技、做到极致!——Elastic认证工程师之路

20年2月3日我参加Elastic认证工程师考试,2020年2月5日中午得到认证结果:通过考试。 趁热打铁,将Elastic认证工程师考试相关内容、经验教训等和盘而出,希望对后续参加考试的同学有所帮助。 1、Elastic工程师有什么用? An Elastic Certifi...

2020-02-07 13:36:36

阅读数 488

评论数 2

原创 重磅 | Elasticsearch7.X学习路线图

1、为什么要梳理学习路线图? 在关注Elastic 中文社区、QQ群、星球群的过程中,多多少少都会有一些基础问题冒出。而这些问题不复杂,多半都在官方文档中都有提及,稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。 基本上通过Google、bing都能直接或间接搜索到答案。 那么问题是...

2019-04-30 23:34:20

阅读数 11132

评论数 10

原创 让Elasticsearch飞起来!——性能优化实践干货

0、题记 Elasticsearch性能优化的最终目的:用户体验爽。 关于爽的定义——著名产品人梁宁曾经说过“人在满足时候的状态叫做愉悦,人不被满足就会难受,就会开始寻求。如果这个人在寻求中,能立刻得到即时满足,这种感觉就是爽!”。 Elasticsearch的爽点就是:快、准、全! 关于...

2018-12-19 23:01:39

阅读数 15116

评论数 11

原创 《死磕 Elasticsearch 方法论》:普通程序员高效精进的 10 大狠招!(完整版)

人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需。Elasticsearch 作为开源领域的后起之秀,从2010年至今得到飞跃式的发展。 Elasticsearch 以其开源、分布式、RESTFul API 三大优势,已经成为当下风口中“会飞的猪”。 阿里云...

2018-02-08 20:45:36

阅读数 30467

评论数 28

原创 Elasticsearch学习,请先看这一篇!

题记:Elasticsearch研究有一段时间了,现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度,从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的?(1)思考:大规模数据如何检索?如:当系统数据量上了10亿、100亿条的时候,我们在做系统架...

2016-08-18 21:08:36

阅读数 137121

评论数 37

原创 Elasticsearch的使用场景深入详解

了解了ES的使用场景,ES的研究、使用、推广才更有价值和意义。1、场景—:使用Elasticsearch作为主要的后端传统项目中,搜索引擎是部署在成熟的数据存储的顶部,以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的​​存储或其他经常需要的功能,如统计。 Elasticsea...

2016-08-17 08:40:56

阅读数 70319

评论数 13

原创 干货 | Elasticsearch 索引设计实战指南

题记随着 Elastic 的上市,ELK Stack 不仅在 BAT 的大公司得到长足的发展,而且在各个中小公司都得到非常广泛的应用,甚至连“婚庆网站”都开始使用 Elasticsear...

2020-02-03 22:46:02

阅读数 570

评论数 0

原创 2019,被催更了!2020,干就是了!

2019 年已经过去了 13 个小时,回望 2019,有没有哪个瞬间让自己真正感动呢? 这种瞬间的确很多、很多....... 2019 年参见了 Elastic 开发者大会,面基了很多社区中活跃的真大佬,得到了社区创始人 Medcl 的口头鼓励,很感动。 2019 年开发者大会后连夜写的总结...

2020-01-02 00:07:42

阅读数 1993

评论数 6

原创 Elasticsearch是一把梭,用起来再说?!

0、题记Elastic中文社区和各种Elastic爱好者交流群中会遇到形形色色的问题。来自运维球友讨论的真实线上吐槽问题总结:问题1:开发不规范。我们这边es 都是我们在推,很多开发不会...

2019-12-22 23:24:05

阅读数 1702

评论数 1

原创 探究 | Elasticsearch集群规模和容量规划的底层逻辑

0、引言实战中经常遇到的问题:问题 1:请问下大家是如何评估集群的规模?比如数据量达到百万,千万,亿万,分别需要什么级别的集群,这要怎么评估?ps:自己搭建的测试环境很难达到这一级别。问...

2019-12-14 23:36:06

阅读数 1743

评论数 4

原创 Elastic中国开发者大会2019干货分享

0、题记 由于2019年Elastic开发者大会下午分3个会场,使劲浑身解数也只能串了两个分场,所以下面的分享肯定信息不全面。 全面信息后续建议参考Elastic中文社区的PPT。文中可能的细节错误,欢迎大家留言指正。 您的参会干货和认知习得,也欢迎留言讨论交流。 1、感触 从没有见...

2019-12-07 23:21:57

阅读数 1719

评论数 1

原创 探究 | Elasticsearch 与传统数据库界限

0、引言现在几乎网上所有资料都说数据存储在传统数据库,再在 es 中同步一份数据作为检索使用,但是也都没有很详细的说明为什么要这么做,而且在 es 本身可以存储数据的情况下,存储两份数...

2019-12-03 23:38:52

阅读数 1705

评论数 1

原创 干货 | Elasticsearch基础但非常有用的功能之二:模板

1、 引言业务场景1:数据量非常大,需要进行索引生命周期管理,按日期划分索引,要求多个索引的Mapping一致,每次手动创建或者脚本创建都很麻烦! 怎么破?业务场景2:实际业务多个索引,想让多个索引中的相同名字的字段类型完全一致,以便实现跨索引检索。怎么破?思考上面两个问题,当单Mapping不能...

2019-11-23 16:48:40

阅读数 1663

评论数 0

转载 Elastic中国开发者大会的精彩日程现已上线

Elastic 中国开发者大会 2019(Elastic Dev Day China 2019)是由 Elastic 官方再一次在中国举办的开发者大会,主要围绕 Elas...

2019-11-21 21:39:29

阅读数 1611

评论数 0

原创 干货 | Elasitcsearch7.X集群、索引备份与恢复实战

1、问题引出 ES中文社区中,有如下问题: 问题1:存储数据,data目录从一个机器直接移到一台新的机器是否可以直接使用? 问题2:es升级时,data目录如果在外部路径,从低版本升级到高版本时,data目录是否直接可以使用? 问题3:将一个旧的es数据(400多G)迁移到新的es中的...

2019-11-14 00:19:36

阅读数 2689

评论数 0

原创 干货 | Elasticsearch7.X X-Pack基础安全实操详解

1、调查:你的Elasticsearch怎么做的安全防护? 背景:大家知道elasticsearch早期版本安全部分收费(7.1 & 6.8 版本之前),实际中各个公司6.x,5.x,2.x,1.x都有在用,且非少数。 群随机投票结果如下: 通过留言发现,大家使用2的比较多,历史包袱重,...

2019-11-02 23:07:05

阅读数 2657

评论数 0

原创 干货 | Elasticsearch 冷热集群架构实战

0、题记 Elasticsearch实战数据量级少的时候,单节点就能玩的很6,但是随着数据量的增长,多节点分布式横向扩展集群是大势所趋。 之前分享过基于时间创建索引及Curator实现索引生命周期管理。 当集群硬件资源有限,尤其SSD磁盘更紧俏的业务场景下,最大化集群的性能,如何让用户最关心的“热...

2019-10-13 23:18:34

阅读数 2011

评论数 0

原创 干货 | Elasticsearch7.X Scripting脚本使用详解

0、题记除了官方文档,其他能找到的介绍Elasticsearch脚本(Scripting)的资料少之又少。一方面:性能问题。官方文档性能优化中明确指出使用脚本会导致性能低...

2019-09-15 23:33:11

阅读数 2756

评论数 0

原创 信息过载的时代,程序员如何破局?

这是死磕Elasticsearch知识星球-静夜思模块的思考。1、没有时间,怎么精进技术?工作了以后,除了工作之外会感觉其他时间少之又少。尤其好多带娃的朋友感触更深吧。那...

2019-09-04 23:59:52

阅读数 4584

评论数 7

原创 Elasticsearch高级调优方法论之——根治慢查询!

1、引言Elasticsearch是非常灵活且功能丰富的搜索引擎,它提供了许多不同查询数据的方法。在实战业务场景中,经常会出现远远低于预期查询速度的慢查询。作为分布式系统...

2019-08-25 22:15:56

阅读数 3566

评论数 0

原创 Elasticsearch解决问题之道——请亮出你的DSL!

0、引言在业务开发中,我们往往会陷入开发的细枝末节之中,而忽略了事物的本源。经常有同学问到:1, 业务代码实现结果和kibana验证不一致。比如:我的python或者ja...

2019-08-11 23:58:20

阅读数 4341

评论数 2

原创 干货 | Elasticsearch、Kibana数据导出实战

1、问题引出 以下两个导出问题来自Elastic中文社区。 问题1、kibana怎么导出查询数据? 问题2:elasticsearch数据导出 就像数据库数据导出一样,elasticsearch可以么? 或者找到它磁盘上存放数据的位置,拷贝出来,放到另一个es服务器上或者转成自己要的数据格式? ...

2019-08-04 00:14:10

阅读数 7446

评论数 3

翻译 Elasticsearch性能优化实战指南

0、背景 在当今世界,各行各业每天都有海量数据产生,为了从这些海量数据中获取想要的分析结果,需要对数据进行提取、转换,存储,维护,管理和分析。 这已然远远超出了普通处理工具、数据库等的实现能力,只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。 Elasticsearch是响应如...

2019-07-29 23:18:11

阅读数 4811

评论数 0

原创 干货 | Logstash自定义正则表达式ETL实战

0、题记 本文建立在干货 | Logstash Grok数据结构化ETL实战上,并专注于在Grok中使用自定义正则表达式。 有时Logstash没有我们需要的模式。 幸运的是,我们有正则表达式库:Oniguruma。 Oniguruma是一个灵活的正则表达式库。 它包含多种语言的不同正则表达...

2019-07-19 22:20:24

阅读数 5017

评论数 0

原创 干货 | Logstash Grok数据结构化ETL实战

0、题记 日志分析是ELK起家的最核心业务场景之一。 如果你正在使用Elastic Stack并且正尝试将自定义Logstash日志映射到Elasticsearch,那么这篇文章适合您。 Logstash写入ES之前的中间数据处理过程一般叫做:数据ETL或者数据清洗。 本文重点介绍数据清洗...

2019-07-13 13:15:06

阅读数 5255

评论数 4

原创 Elastic认证考试,请先看这一篇!

题记 Elastic认证考试已经推出一年多,国内已经陆续有不少小伙伴考过。 经常有朋友留言,Elastic认证考试,考什么?难度大不大等。 其实:官网都已经有更详细、更准确的描述,建议直接读官网。(尤其后续官网可能会有更新) 本文仅对官网考点部分进行翻译、提炼、考点难度评定星级。 注意:...

2019-07-07 22:25:15

阅读数 8508

评论数 4

原创 如何做一次Elasticsearch技术分享?

0、问题引出 经群讨论,建议从以下几个方面展开,大家有好的想法,也欢迎留言交流。 1、可视化展示ELK效果 如果条件允许:demo的内容是:通过logstash 同步日志或数据库(oracle、mysql)表的数据到 Elasticsearch,然后通过kibana进行可视化。 ...

2019-06-30 23:47:18

阅读数 5829

评论数 0

转载 终于等到你,Elasticsearch7.X视频教程发布!

1、做搜索容易,做好搜索相当难。这是 Elastic 大佬 Wood 大叔在《熟练使用ES离做好搜索还差多远?》的回复。当时看到回复后,感觉振聋发聩。的确,经常在涉及检...

2019-06-24 22:43:33

阅读数 6916

评论数 7

原创 Elasticsearch的ETL利器——Ingest节点

1、问题引出 来自星球同学的提问: “Ingest node什么场景会遇到它? 一直没搜到它是在什么场景工作的?” 的确我们比较关心集群的节点角色的划分。包括: 集群应该几个节点? 几个节点用于数据存储? 要不要独立Master节点、协调节点? 但是Ingest no...

2019-06-22 23:03:21

阅读数 6295

评论数 2

原创 升级这十点认知,你就是大佬!

这是星球-静夜思模块里面一篇文章,有感于星球微信群的一次交流,连夜边思考边记录了下来。 静夜思模块完全是深夜里由感而发,大多包含但不限于: 认知的梳理 、方法论的探讨、各种问题的暗时间思考… 微信群机缘巧合,认识了很多领域的先行者、持续技术跟进者,统称或者俗称大佬。 比如:硅谷、腾讯云、...

2019-06-15 14:52:55

阅读数 5220

评论数 7

原创 实战 | ELK实现全量Elastic日报(2017-2019)多维度可视化分析

题记 Elastic社区主席M大、Elastic源码解析书作者超哥都曾多次强调Elastic日报是非常好的学习资料,然后呢? Elastic日报自2017年7月30日发布第一篇文章,截止2019年6月6日,近10位责任编辑累计贡献了1653篇文章。 日报分散在社区文章专区,全部看完至少需要翻...

2019-06-09 09:57:38

阅读数 5622

评论数 0

原创 Elasticsearch基础但非常有用的功能之一:别名

0、题记本文是系列文章第一篇。介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引,预先知道PB级大数...

2019-06-02 21:49:54

阅读数 5259

评论数 1

原创 干货 | Elasticsearch基础但非常有用的功能之一:别名

0、题记 本文是系列文章第一篇。介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引,预先知道PB级大数据索引实战中的坑,提升工作效率。 本文从别名分类、索引别名实践、索引别名的好处、索引别名常见问题及坑解读、字段别名实践一把...

2019-06-02 20:59:42

阅读数 7820

评论数 4

原创 干货 | Elasticsearch 7.1免费安全功能全景认知

0、背景 2019年5月21日,Elastic官方发布消息: Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。 这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色,并且使用 Spaces 为 Kibana ...

2019-05-26 00:42:34

阅读数 8959

评论数 1

原创 干货 | Elasticsearch Top10 监控指标

0、监控Elasticsearch集群的重要性 Elasticsearch具有通用性,可扩展性和实用性的特点,集群的基础架构必须满足如上特性。合理的集群架构能支撑其数据存储及并发响应需求。相反,不合理的集群基础架构和错误配置可能导致集群性能下降、集群无法响应甚至集群崩溃。 适当地监视群集可以帮...

2019-05-12 00:02:29

阅读数 7980

评论数 2

原创 logstash_output_kafka:Mysql同步Kafka深入详解

0、题记 实际业务场景中,会遇到基础数据存在Mysql中,实时写入数据量比较大的情景。 迁移至kafka是一种比较好的业务选型方案。 而mysql写入kafka的选型方案有: 方案一:logstash_output_kafka 插件。 方案二:kafka_connector。 方案三:...

2019-04-20 21:54:58

阅读数 7642

评论数 0

原创 Elasticsearch 7.0 正式发布,盘他!

Elastic{ON}北京分享了Elasticsearch7.0在Speed,Scale,Relevance等方面的很多新特性。 比快更快,有传说中的那么牛逼吗?盘他! 通过本文,你能了解到: Elasticsearch&Kibana 7.部署体验 Elasticsearch7...

2019-04-14 00:16:46

阅读数 10509

评论数 7

原创 Elasticsearch自定义分词,从一个问题说开去

1、问题抛出 来自星友的一个真实业务场景问题: 我现在的业务需求是这样的。有一个作者字段,比如是这样的Li,LeiLei;Han,MeiMei;还有一些是LeiLei Li...。 现在要精确匹配。 我的想法是:用自定义分词通过分号分词。但是这样我检索Li,LeiLei那么LeiLei ...

2019-04-05 22:25:34

阅读数 8221

评论数 10

原创 严选 | Elasticsearch中文社区201903错题本

题记 马云演讲中曾经提到:很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的,因为成功的原因有千千万万,失败的原因就一两个点。 创业需要关注别人的失败,而开发实战,别人的错误经验、别人的问题也非常有价值。 开发最懊悔的事莫过于:自己费尽脑汁、花费了很长时间解决了问题...

2019-03-31 19:49:27

阅读数 7259

评论数 0

原创 干货 | Elasticsearch多表关联设计指南

0、题记 Elasticsearch多表关联问题是讨论最多的问题之一,如:博客和评论的关系,用户和爱好的关系。 多表关联通常指:1对多,或者多对多。 本文以星球问题会出发点,引申出ES多表关联认知,分析了4种关联关系的适用场景、优点、缺点, 希望对你有所启发,为你的多表关联方案选型、实战提...

2019-03-24 23:45:37

阅读数 12933

评论数 21

提示
确定要删除当前文章?
取消 删除