早在growth hack这个词出现之前，网站抓取就已经成为一种增长黑客技术。从简单的拷贝开始，将信息从一个页面粘贴到一个电子表格或数据库，现在已经转变为一种行之有效的策略。
网页抓取是一种从网站中提取数据的方法。这可以用于许多不同的原因，包括建立一个销售渠道，以确定你的竞争对手正在制定他们的价格。即使它被认为是一种古老的做法（至少在互联网上），它也可以是一个很好的方式来刺激增长。然而，在我们深入研究网页抓取方法之前，让我们先来探讨一下网页抓取是如何首先出现在数字营销地图上的。
尽管网络抓取是数字运动中广泛应用的一个方面，但它的历史并不平坦。毕竟，不管你是用机器人来扫描网页，甚至只是复制重要的数据，你仍然在获取可能有用或不可用的信息（尽管它是公共状态）。
刮网线在哪里？
eBay的案例或许是第一个证明网络抓取可能违法的例子与投标人的边缘。在2000年初，竞拍者的优势是拍卖网站的数据聚合器，eBay是其主要的价格来源之一。虽然eBay意识到竞拍者的优势在网站上抢夺价格，但它最终发展到竞拍者的优势使用了如此多的数据，以至于扰乱了eBay的服务器。法院基本上裁定，由于竞买人的优势扰乱了eBay的服务器，导致收入损失，使其无法盈利。是的，刮网的实际做法被认为是可以的。
这项裁决开创了一个先例，让位于跨行业企业的无数增长机会。在我看来，网站抓取仍然是增长黑客最道德的形式之一。这是一个久经考验的策略，可以追溯到Web1.0，而且比以往任何时候都更有效。
它的整体实践已经在法庭上被质疑了很多年，但幸运的是，我们已经确定了它的合法性的现状。根据Icreon的说法，需要记住的一些基本技巧包括注意版权，不违反隐私法或使用条款，以及（像上面的例子一样）不给主机的服务带来负担。
你怎么能合并网页抓取？
现在我们已经进入了什么是允许的，让我们进入有趣的部分：实际的刮。对于初学者来说，最常见的用法之一是设置机器人.txt文件。这些基本上告诉一个网络爬虫在一个页面上寻找什么。例如，如果我是一个运动鞋经销商和一个新的乔丹刚刚发布，我可以告诉一个机器人.txt浏览其他商店（易趣、斯托克斯等），挑选“Jordan”、“Air Jordan”等术语来汇总价格。
这种方法几乎不需要像你想的那样多的编码，而且可以成为快速获取所需信息的极好来源。然而，如果你是一个不知道如何编写代码（或者想学习）的人，有一些很好的方法可以让你在不学习任何东西的情况下进行学习。不，这不是复制和粘贴。
随着屏幕刮削的实践变得越来越普遍，许多公司一直在提供一些伟大的产品来帮助。像AspaseHub这样的平台可以让你打开任何网页，并将你需要的数据提取到一个地方，它的免费版本可以是一个坚实的介绍，让你的脚湿。另外，导入.io这也是一个很好的选择，但我建议在使用付费服务之前尝试几种不同的方法。记住，这是为了节省金钱和时间，所以找到一个平衡点是关键。
网络抓取的未来是什么？
在数据挖掘中使用web抓取的功能可能是无穷无尽的。事实上，收集大数据的增长催生了人工智能如何用来评估数据点之间的关系。正如我们大多数人所听到的，人工智能正在以一种重要的方式改变我们看待营销的方式。
虽然我们大多数人在收集信息时都有一系列的需求，但这种做法可以快速获得竞争优势。而在如此残酷的行业里，谁不想拼凑出优势呢？