大数据平台——数据采集

正所谓“兵马未动，兵马未动”，大数据数据平台包含后面的数据剖析，都务必借助数据做为“能量饲料”，才可以有一定的产出率。而数据采集做为“粮草押送官”，是数据基本建设的先驱者。

那麼数据采集有什么类型呢？

了解数据采集技术以前，最先得确立数据由来有什么方式。

一、物联网技术数据。

伴随着新型智慧城市、智慧社区、智能交通等聪慧类新项目的迅猛发展，造成了很多根据监控摄像头、感应器等物联网设备的数据，不仅有结构型数据，也是有非结构型数据，其数据特性是数据文件格式比较严重取决于传感器机器设备，数量级极其巨大。

天地万物认知、物联网

二、互联网技术数据。

随着着很多互联网技术公司的盛行，例如移动医疗，互联网推广类公司，这种公司对互联网已经有的数据造成很多的兴趣爱好，而在追求完美成本低、高回报的条件下，网络爬虫毫无疑问是具有强劲竞争优势的。有着高品质专业知识、营销推广数据的公司被爬的万般无奈，只有进一步抓紧反爬虫的脚步，其原理无非是增加抓取的难度系数，没法实现充分的屏蔽掉。

数据共享资源，数据共享

三、传统式公司数据。

传统系统软件公司一样有着很多有價值的数据，但是这种数据存有于各公司的数据库文件，没法被外界浏览，这种数据大伙儿最了解，这儿就不会再赘述了。

面对不一样的数据特点，必须运用不一样的采集方式。

一、IOT采集。

感应器获得的溫度、环境湿度、气体压强、流动速度、视频等各式各样的数据，根据不一样的物联网技术传输协议，近距或是远程控制将多种机器设备信息传递到网络服务器，由服务器对数据开展进一步解决、剖析、标准融合和反方向实际操作机器设备，促使机器设备具有了“聪慧”的工作能力，进而便捷我们的日常生活。

二、网络爬虫。

爬虫，是根据全自动网页测试的原理，对页面的html原素开展分析，依照特殊的获取标准，获得对后面商品有價值的数据。网络爬虫技术有根据java的Htmlunit和web ** gic架构技术，也是有根据python的Scrapy架构技术，可依据自身了解的技术栈挑选差异的技术架构。

三、系统软件日志采集技术。

这类技术一般存有于同一家公司不一样商品精英团队中间，为保证关键业务流程商品不遭受特性危害，可对业务流程商品后台管理日志开展采集和分析，即“非入侵”方法的数据采集。普遍的大数据构架为ELK（Elasticsearch、Logstash、Kibana），这也是一种较为灵便的构架，为了确保传送的可靠性，会再添加kafka消息队列管理方法，即kafka->logstash->elasticsearch->kibana。

四、端到端数据传送技术。

这类方式更为传统式，也是ETL最爱的方法，可以完成按时大批量数据的传送，即从A数据库立即传送到B数据库。自然，伴随着技术的发展趋势，许多大公司发布了ETL专用工具，大大的降低了ETL开发者的SQL脚本制作开发量。知名的传送手机软件有个性化很好但单机版布署的kettle和适用B/S构架但必须二次开发的阿里巴巴datax。