爬虫纠纷与数据成为科技创新必备要素密不可分。在大数据时代，爬虫爬取他人数据的法律边界在哪里？如何规制恶意爬虫肆意爬取的行为？
爬虫技术中立，但爬虫技术应用侵权严重
从技术角度看，爬虫是通过程序去模拟人类上网或者浏览网页、APP行为，让其高效的在网上抓取爬虫制造者所需要的信息。
欧莱雅中国数字化负责人刘煜晨表示，大多数网站拒绝爬虫访问，其中的原因既包括商业利益考量app爬虫，也包括自身网站运营安全的考量。除了可能爬到网站的上不愿被爬取的数据以外，网站经营者往往还会担心爬虫干扰网站正常运营。
爬虫自动持续且高频地对被爬取方进行访问，服务器负载飙升，这会给服务器带来“难以承受”之重。应对高并发经验不足的网站，尤其是中小网站可能会面临网站打不开，网页加载极其缓慢，有时甚至直接瘫痪。网站经营者面对“凶猛”的网络爬虫时往往苦不堪言。
小红书法务负责人曾翔表示，恶意爬虫案例经常发生在内容平台和电商平台。在内容上更多被爬取视频、图片、文字、网红互动数据、用户行为数据，在电商领域更多被爬取商家信息和商品信息。
“内容平台一般而言会约定相关内容知识产权应当是归发布者或者发布者和平台共同所有，这些爬虫没有签订协议获得用户授权，如何获得知识产权，涉嫌对知识产权的破坏。平台通过投入激发很多创作者的创造力，如果爬虫很轻易获得再去抄袭、改编，损害很大。”曾翔说。
新浪集团诉讼总监张喆表示，无论是爬虫还是实现其他目的的技术，本身都是中立的，但爬虫技术的应用不是中立，技术应用都带有应用者的目的。发生纠纷时，这个时候不应该只评价技术原理，而是需要评价技术用来干什么，这个行为手段到底是不是具有正当性。
现实中，恶意爬虫爬取数据的目标清晰，通过爬虫爬取数据建立数据增值服务，从而获益。然而，所建立的这类数据增值服务往往与被爬取方形成直接的竞争关系，甚至可以形成某种替代关系。
上海浦东法院知识产权庭法官徐弘韬表示，数据是内容产业的核心竞争资源，内容平台经过汇总分析处理后的数据往往具有极高的经济价值。如果要求内容平台经营者将其核心竞争资源向竞争对手无限开放，不仅有违“互联互通”的精神实质，也不利于优质内容的不断更迭和互联网产业的持续发展。
无视robots协议“君子协定”，恶意爬虫“破门而入”
提及网络爬虫，robots协议是绕不开的话题。robots协议（也称爬虫协议）的全称是“网络爬虫排除标准”，网站通过robots协议明确警示搜索引擎哪些页面可以爬取，哪些页面不能爬取。该协议也被行业称为搜索领域的“君子协定”。
刘煜晨表示，当网络爬虫访问一个网站，通常有一个robots协议，它像一个牌子立在自己房间门口，告诉外来人谁可以过来，谁不可以过来。如果你过来，哪些房间可以进app爬虫，哪些房间不可以进，也就是哪些页面可以爬，哪些页面不可以爬。但是，这只是一个君子协议，只能起到告示作用，起不到技术防范作用。
实践中，恶意爬虫爬取时不遵守网站的robots协议，并可能爬取到不该爬的数据，这种情形并非孤例。
虽然网站可以开发相应策略或技术手段，防止爬虫抓取数据，但爬虫也有更多技术手段，来反制这种反爬策略，即反反爬策略。
刘煜晨表示，反爬和爬取的技术一直在迭代，在技术领域，没有爬不了的网站，所有对外公开的网站、APP，只要人能访问，绝对能爬得了，只有他愿不愿意爬和多难爬的问题。越大厂的APP或者网站越难爬，反爬机制多。
徐弘韬认为，应当尊重网站预设的robots协议，如果违反robots协议强行抓取数据，可能导致在行为正当性上给予负面评价。
数据价值凸显，恶意爬虫爬取数据问题突出
恶意爬虫爬取数据案件频发的背后，与数据的价值极具增加并成为市场竞争重要的资源，以数据为核心的市场竞争愈发激烈密不可分。
杭州长三角大数据研究院副院长郭兵表示，数据爬虫作为一个中立性的技术，已经在互联网产业领域广泛应用，但是如果爬虫技术不当应用，对于其他竞争者的合法权益造成损害，甚至涉嫌违法或者犯罪，对于产业的健康发展也会产生非常大的负面影响。
上海市人民检察院研究室副主任陈超然表示，检察机关正在积极推动企业合规改革试点工作，数据合规是关注热点。当一个网络平台或者个人通过技术手段抓取别的平台数据的时候，这种行为是否合法，平台数据主体是谁，归谁使用，值得深入研讨。
华东政法大学教授高富平认为，如果网站合法积累数据资源，都应该属于网站生产端可以控制的数据资源，是它的资产。对于数据财产权，他提出数据的控制者权，数据的控制者是基于自身控制，可以自己用，也可以给别人用，只要法律上承认合法的数据生产者能够实际控制，只能通过他的许可使用方式来开放数据的使用。
高富平认为，更重要的是承认数据的生产者、控制者可以基于他的商业目的来开放数据，让他积极通过许可使用、交换交易等方式，让更多人享用数据服务。
徐弘韬认为，对于非搜索引擎爬虫的正当性判别，还要考虑是否足以保障用户数据的安全性。包括身份数据、行为数据等在内的用户数据，从属性来讲不仅仅是经营者的竞争资源，同样具有用户的个人隐私属性，而此类数据的集合更涉及社会公共利益。如果以危害用户数据安全性为代价抓取数据，将在行为正当性上被给予负面评价。
更多内容请下载21财经APP
限 时 特 惠： 本站每日持续更新海量各大内部创业教程，加站长微信免费获取积分，会员只需38元，全站资源免费下载 点击查看详情
站 长 微 信： thumbxmw
