爬虫实习怎样让自己避免陷入可能的法律纠纷？

欧陆，本科在读，通过学校的招聘门户找了个美国小公司在本地的分公司的爬虫实习，目前是雇主发来任务进行初步讨论的阶段，但是发给我的很多网站里有不少在服务条款里明确说明了禁止通过爬虫等自动化方式获取数据，其中也有互联网档案馆这样的本身就面临版权纠纷的网站，考虑到欧美都对版权、知识产权等比较重视，虽然这些网站技术上没有什么难度、甚至连需要反爬手段的网站都没有，但目前我纠结怎么回复，主要是关于爬取这些网站的合法性。


对于为什么发过来这些网站我认为有以下两种可能：

• 可能只是初步测试，看看我有没有相关法律意识
• 对爬虫相关的法律并不了解，这是有可能的，因为我在公司网站的职员表里并没有发现负责自动化和爬虫等任务的职位，这只是一个十几个人的小公司

如果已确定就是这些网站，很多网站里提到有什么问题可以联系网站管理员，但是 ChatGPT 回复说只是网站管理员的同意可能并不能让我免除法律责任，我是否应该要求具有法律效应的文件，具体应该要求哪些文件才能避免自己卷入可能的法律纠纷并承担可能的连带责任呢？


以及，里面包括互联网档案馆、维基百科这样的著名网站，前者本身就面临版权诉讼，我是否应该委婉拒绝对这样的网站的爬取呢？

连你一个实习的都知道不行，那你觉得公司里呢？

TB2020 发表于 2024-11-29 06:36
连你一个实习的都知道不行，那你觉得公司里呢？

进一步沟通后同意只爬 free use 的以及提供 API 的，并且说了不会商业使用，这样是不是就没问题了？