大数据,数据从哪里来?

0、题记

之前自己也做过一个大数据方面的讲座,讲解大数据背景、大数据原理、Hadoop(MapReduce、HDFS、分布式)、NoSql非关系型数据库存储、大数据应用(微博来源追踪、微信jiankong等)。诚然,大型互联网公司早已很早布局云计算、使用大数据。
而中、小企业在大数据的浪潮下,也想分得一碗羹,这就遇到棘手的源头问题:大数据,数据从哪里来?
上下班路上,听过3期东方卫视《头脑风暴》,辩论大数据时代到底有没有到来。企业家站在各自的角度侃侃而谈。大致观点如下:
1)在某些领域,大数据已经切入并得到长足的应用:如打车、网购推荐等。
2)而在一些传统生产领域,数据的搜集、整理、存储都是问题,中、小企业工业4.0还远远没有普及实现。
一句话:大数据两级分化非常严重。

1、项目带来的思考——数据从哪里来?

最近项目可能需要实现类似天眼查的应用,详见官网:http://www.tianyancha.com/
天眼查是搜集网络资料的时候,从知乎偶然搜集到的。是目前为止:不用注册,就能查询想要的企业注册信息(非常快捷、个人观点)。

而我们也想得到企业数据信息,这就面临:数据从哪里来?

思路1:花钱买。

Google一搜一大把。都号称自己拥有全国的数据,良莠不齐。(技术人员鄙视的行为但确实是技术人员干出的活,非技术人员去销售)。
因此,该思路不可行。

思路2: 从工商局网站登记信息爬取,确保数据大而全(完整、真实)。

而工商网站目前支持:
1)企业名称全局检索;
2)企业组织代码全局输入检索;
难点:
1)每次输入都需要验证码验证。难点系数大。
2)不同省都是不同团队开发,验证码不同,网页结构不同。要解析网页需要不同的解析匹配规则。
3)需要结合注册码特点、分析并找到规律,构造出机构码。
网上分析可知,只有有限的几位有规律。
从已有的网上资源分析得知,中间8位左右是没有任何规律的。
这就造成:构造出来的范围会非常大,实际命中率低于万分之一,效率非常低。

思路3:网上爬取企业名称。

难点:
1)没有任何一家网站能覆盖全所有企业信息,即便是多个网站,去重、唯一识别后,信息也不全。
2)像天眼查这种网站,是很难实现爬虫爬取了,做了时间戳登陆、跳转等的限制。

2、从看似没有规律的数据中寻找规律

从已有的数据中提炼、分析数据,自己寻找规律。如:前3位大致的范围就那么10几种,而比自己去写000——999的1000种,精确了近100倍。
这样就能极大提高工作效率。
以上,只是列举一个小思路。

3、大数据如何利用?

首先,最重要的是要原封不动的存起来,并且要有备份存储。
大数据的5V特性的前提是,你得有数据。
数据要针对不同的特点,考虑不同的存储。
关系型考虑——关系型数据库:Mysql/Oracle.
非关系型考虑——非关系型数据库:MongoDB、Elastisearch(非严格意义上数据库,但可以用来存储)。
其次,对数据进行小范围分析,看能否找到规律。
再次,扩展数据到全局分析,寻找、发现规律。(不限于:去重、唯一、按时间、地名、名称等统计)。

4、真正带来价值,而非仅限于炒概念才是王道。

这是我的观点。哪怕数据少点,但确保数据真实。
利用真实的数据分析,逐步积累完善,并循环起来,大数据才能真正指导我们的生活,为客户带来更高价值。

2016-9-9 pm23:46 思于家中床前

作者:铭毅天下
转载请标明出处,原文地址:
http://blog.csdn.net/laoyang360/article/details/52491648
如果感觉本文对您有帮助,请点击‘顶’支持一下,您的支持是我坚持写作最大的动力,谢谢!

©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页