- 博客(12)
- 资源 (18)
- 论坛 (29)
- 问答 (2)
- 收藏
- 关注
原创 Elasticsearch全文检索系统实现深入详解
题记学习ES的童鞋,都有一个开发一个类似百度的搜索引擎的想法。当然功能不一定是百度、360、谷歌传统的搜索引擎那么强大。但是,能实现基本的全文检索、指定类型的检索、评分高低优先级排序等等。那么问题来了,该如何实现?需要什么技术呢?1、效果图注:这张图是从网上down的,我已经实现了上述功能。 (不能截图,原因:你懂的!)2、前后端交互2.1 Elasticsearch服务端作为检索引擎,数据是
2017-07-23 17:05:31
13691
11
原创 Elasticsearch批量导入本地Json文件Java实现
产品开发需要,我们需要将互联网采集的数据存储到ES中,以实现数据的全文检索。互联网采集的数据,往往格式杂乱,需要先进行数据清洗操作。而ES支持的入库格式,json格式数据会相对方便些。本文主要介绍,如何将格式化的Json文件批量插入到ES中。1、需提前做的工作1)设计好索引以及Mapping;Mapping的目的主要是,设定字段名称、字段类型,哪些字段需要进行全文检索等。2)Java程序中封装好类,
2017-07-23 15:07:35
11267
2
原创 logstash一次同步Mysql多张表到ES深入详解
题记一次同步多张表是开发中的一般需求。之前研究了很久找到方法,但没有详细总结。 博友前天在线提问,说明这块理解的还不够透彻。 我整理下, 一是为了尽快解决博友问题, 二是加深记忆,便于未来产品开发中快速上手。1、同步原理原有ES专栏中有详解,不再赘述。详细请参考我的专栏: 深入详解Elasticsearch 以下是通过ES5.4.0, logstash5.4.1 验证成功。 可
2017-07-19 23:27:15
18288
32
原创 保持冷静、继续前行——《白说》读后感
题记618的时候,买了一些书,包括《四大名著》、《傅雷家书》、俞敏洪的书、技术书籍,还有这本白岩松的《白说》。早些年,白岩松的高校演讲听得比较多。他是央视仅存的、为数不多的敢说的主持人之一了。听他的演讲、读他的书主要是学习他分析问题、看待问题、思考问题、解决问题的角度、态度、方式和方法。翻开书之后,才知道这是白岩松职业生涯近20多年的演讲集。他和俞敏洪老师的书不一样的最大之处:书稿中的演讲部分已经做
2017-07-15 23:13:17
2576
2
原创 60天高效通过软考高级实战复习攻略(干货)
题记60天,对于上班族来说,只有晚上和周末时间,细算下,有效复习时间少得可怜。如果全力以赴且有一定计算机基础、项目管理经验的话,可以!否则,会比较难。软考信息系统项目管理工程师(信管高级)涉及9大知识管理体系,要理解记忆,没有捷径可走。题目多少有些“标题党”,我是第二次通过考试的。16年下成绩:56 52 36,17年上成绩:46 50 46。分数线还没出,如果过的话,也是压线。 2017-0
2017-07-13 23:38:30
36093
13
原创 Docker部署迁移实战
题记在docker初始环境部署时,宿主机设定docker存储位置为/var/lib/docker 路径,但我们都知道,/var挂载分区往往就很小的空间,如50GB。 随着业务量的增加,docker部署数量增多,会有很大的磁盘占用,慢慢/var/lib/docker就很容易占满了。 此时,对docker存储进行迁移势在必行!1、修改镜像和容器的存放路径在Docker服务配置文件/etc/sysco
2017-07-13 22:56:53
2321
2
原创 Docker常见操作实战
题记:docker环境部署的时候,有过运行失败及网络不可用等各种问题,以下命令都是摸索出来的。0、获取镜像文件docker pull cnetos:6.71、查看运行和停止状态的容器docker ps -a[root@ng3 lib]# docker ps -aCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESa38800a3ed82 c
2017-07-13 22:48:38
1035
原创 centos6.8 安装python3/pip3/sqlite3步骤详解
题记项目的需要需要在python3下部署环境,且不能破坏python2的正常业务运行。 当安装sqlite3的时候,出现过各种异常。网上排查了很久。 记录下来,避免下次犯同样的错误。1、安装python3安装版本:Python-3.5.0步骤1: 准备编译环境yum groupinstall 'Development Tools'yum install zlib-devel bzip2-dev
2017-07-13 22:40:50
7837
原创 相信积累的力量——《把时间当作朋友》读后感
1、题记最早知道李笑来老师,是在刘伟鹏《暗时间》的知识理论体系里面。知道他是新东方的老师,并且小有成就。后来在关注罗辑思维公众号的时候,推荐过李笑来的“学习、学习、再学习”的微信公众号的文章,读了以后感觉李笑来在践行理论、实践方面有很深入的理解。实践也证明,他是国内最早一批关注比特币并成为比特币首富的人,他是最早赶上知识付费IP的人( 他的”通向财富自由之路“的得到专栏是销量冠军;他自己推出了新生大
2017-07-09 19:47:49
2707
1
原创 《懒人Shell脚本》之九——批量格式转换脚本实现
1、需求:文档格式转换批量脚本实现。技术点1:文档分散在同一路径下。 技术点2:显示转换进度。 技术点3:每个转换输出到文档同名的指定文件夹下。 前提:单个格式转换已经验证ok。2、脚本实现[root@0ec6 testxx]# cat bulk_converts.sh#!/bin/shCONTENT_FILE=./rst.txticnt=0itotalCnt=`cat ./rst.tx
2017-07-09 14:32:04
2245
原创 Elasticsearch实战——全文检索架构设计
1、题记近几年,Elasticsearch(以下简称ES)作为开源的搜索引擎已经在国内得到越来越多的应用推广,在日志分析领域应用场景尤为广泛。传统的数据库Mysql、Oracle或者非关系型数据库Mongo作为基础存储的企业要想实现业务数据的全文检索,该如何实现呢?本文给出架构设计和实现原理。2、理清楚使用ES的初衷2.1 大数据背景下数据量的积累与数据应用疲软矛盾一直存在。大数据的风已经刮了几年,
2017-07-02 09:22:13
11943
2
原创 Elasticsearch5.4.0 IK分词插件安装详解
1、ES5.4.0 IK分词安装步骤步骤1:下载最新版的ik插件地址:https://github.com/medcl/elasticsearch-analysis-ik步骤2:解压elasticsearch-analysis-ik-master.zipunzip elasticsearch-analysis-ik-master.zip步骤3:修改ES版本号。修改pom.xml,最新(201706
2017-07-02 09:11:58
4647
2
libcurl.lib下载(32bit和64bit)
2015-09-17
可视化文件消息一体化收发Socket实现V0.1
2013-03-17
(可视化文件消息一体化收发Socket实现V0.1说明文档
2013-03-17
Windows Sockets 规范及应用
2010-12-20
C++ 笔试面试宝典2009版.doc
2010-04-18
路由器交换机配置命令详解.doc
2010-04-18
Windows下libevent C++封装类实现
2016-12-11
C++内部培训讲义
2016-08-07
铭毅天下的留言板
发表于 2020-01-02 最后回复 2020-04-26
VS2010下使用otl连接到oracle数据库,出现0x74eec42d 处有未经处理的异常: 0xC06D007E:
发表于 2015-04-18 最后回复 2017-03-20
【急求解决】该博客违反了网站规则被关闭, 请与管理员联系
发表于 2017-03-18 最后回复 2017-03-18
windows下hping无法正常使用,求解释!
发表于 2015-12-29 最后回复 2016-08-29
?悬赏:Kerberos认证Service_key及Ticket获取相关问题思路求教
发表于 2013-11-08 最后回复 2015-04-18
盛大游戏笔试题引发的思考?为什么?
发表于 2012-08-26 最后回复 2014-08-25
C++构造函数执行顺序问题,为什么?(simple)
发表于 2013-03-02 最后回复 2014-07-05
紧急求助:Png作为桌面快捷方式的图标
发表于 2014-02-14 最后回复 2014-04-14
毕业后迁不迁户口(农村到深圳)?请过来人指点迷津,谢谢!
发表于 2013-03-07 最后回复 2013-03-27
环境变量如何设置?(CGI接口)
发表于 2012-12-04 最后回复 2013-03-02
CGI接口环境变量应用错误,求指教!
发表于 2012-12-04 最后回复 2013-03-02
(2013&2012Windows编程+网络编程)360、腾讯、迅雷面试题及答案,求讨论
发表于 2012-09-07 最后回复 2012-10-14
数组指针的解读?求讨论!
发表于 2012-09-26 最后回复 2012-09-27
一道笔试题的解读?求讨论~
发表于 2012-09-18 最后回复 2012-09-20
一道迅雷笔试题引发的思考?2012-8-25
发表于 2012-08-25 最后回复 2012-09-07
为了避免出现菱形问题,用使用虚拟继承后的子类大问题?
发表于 2012-08-29 最后回复 2012-09-05
为什么Delete会出错?见下代码。求讨论!
发表于 2012-09-02 最后回复 2012-09-04
多线程中printf与输入输出流的区别?
发表于 2012-09-02 最后回复 2012-09-03
浮点转换--笔试题的思考?
发表于 2012-08-27 最后回复 2012-08-27
strcpy自写的疑问?
发表于 2012-08-22 最后回复 2012-08-22
strcpy自写的疑问?
发表于 2012-08-22 最后回复 2012-08-22
多线程执行问题,急求回答,谢谢!
发表于 2012-06-26 最后回复 2012-06-26
多线程问题,急求答案,谢谢!
发表于 2012-06-25 最后回复 2012-06-25
suspendthread 多个线程, 为什么 resumeThread后 只是开启了最后一个线程?
发表于 2012-06-11 最后回复 2012-06-12
多线程输出问题,SuspendThread与ResumeThread问题
发表于 2012-06-12 最后回复 2012-06-12
suspendthread 多个线程, 为什么 resumeThread后 只是开启了最后一个线程? 代码大致如下:
发表于 2012-06-11 最后回复 2012-06-12
C语言自定义头文件中定义数组错误,求解答!谢谢
发表于 2012-06-09 最后回复 2012-06-10
scrollwindow()函数问题,如下.......
发表于 2011-06-17 最后回复 2011-06-20
setTimer()问题!
发表于 2011-05-20 最后回复 2011-06-17
? Kerberos认证相关问题思路请教:
2013-11-03
求samba下的rpcclient工具使用方法?
2013-09-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝