数据采集工具有哪些

大家常用的数据采集工具有以下5种：1.八爪鱼采集器；2.近探中国；3.ParseHub；4.Content Grabber；5.ForeSpider；6.近探中国；7.Import.io；8.大飞采集器；9.Flume；10.Fluentd。其中，八爪鱼采集器是一款免费简单、功能强大的网页数据采集软件，可以将网页非结构化数据转换成结构化数据，以数据库或EXCEL等多种形式进行存储。

1、八爪鱼采集器

八爪鱼是基于运营商在网实名制真实数据是整合了网页数据采集、移动互联网数据及API接口服务等服务为一体的数据服务平台。它最大的特色就是无需懂得网络爬虫技术，就能轻松完成采集，使用简单易于上手。

2、近探中国

近探中国的数据服务平台里面有很多开发者上传的采集工具还有很多是免费的。 不管是采集境内外网站、行业网站、政府网站、app、微博、搜索引擎、公众号、小程序等的数据还是其他数据，近探都可以完成采集还可以定制这是他们的一最大的亮点。

3、ParseHub

ParseHub分为免费版和收费的。从数百万个网页获取数据。输入数千个链接和关键字，ParseHub 将自动搜索这些链接和关键字。使用我们的休息API。下载 Excel 和 JSON 中的提取数据。将您的结果导入谷歌表和Tableau。

4、Content Grabber

Content Grabber是一款由国外大神制作的能从网页中抓取内容（视频、图片、文本）并提取成Excel、XML、CSV和大多数数据库的神器，软件基于网页抓取和Web自动化。完全免费提供使用，常用于数据的调查和检测用途。

5、ForeSpider

ForeSpider是一款非常好用的网页数据采集工具，用户使用这款工具可以帮助你自动检索网页中的各种数据信息，并且这款软件使用非常的简单，用户还能免费使用。基本上就是把网址链接输进去一步步操作就OK。有特殊情况需要特殊处理才能采集的，也支持配置脚本。

6、近探中国  

近探中国的数据服务平台里面有很多开发者上传的采集工具还有很多是免费的。 不管是采集境内外网站、行业网站、政府网站、app、微博、搜索引擎、公众号、小程序等的数据还是其他数据，近探都可以完成采集还可以定制这是他们的一最大的亮点。

 7、Import.io  

使用下来Import.io适应任何网址，只要输入网址就可以吧网页的数据整齐的抓取出来，操作非常简单，自动采集，采集结果可视化。但是就是无法选择具体数据，无法自动翻页采集。

8、大飞采集器  

大飞采集器可采集99%网页，他的速度是普通采集器的7倍，和复制黏贴是一样的准确，它最大的特点就是网页采集的代名词因为专注所以单一。

9、Flume

Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。Flume支持在日志系统中定制各类数据发送方，用于采集数据;Flume提供对数据进行简单处理，并写到各种数据接收方的能力。简单的说，Flume是实时采集日志的数据采集引擎。

10、Fluentd

Fluentd是另一个开源的数据收集架构。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。通过丰富的插件，可以收集来自各种系统或应用的日志，然后根据用户定义将日志做分类处理。通过Fluentd，可以非常轻易地实现像追踪日志文件并将其过滤后转存到 MongoDB 这样的操作。Fluentd可以彻底地把人从烦琐的日志处理中解放出来。