首先，在当前的大数据应用环境下，如果单纯做Python爬虫开发，那么在岗位竞争力上还是有所欠缺的。要想找到一个比较满意的工作岗位，还需要进一步完善自身的知识结构。
Python语言目前在整个IT行业有广泛的应用，包括Web开发（传统解决方案之一）、大数据开发、人工智能开发（机器学习等）、嵌入式开发和各种后端服务开发，但是得益于大数据和人工智能的发展，近几年来Python语言有了明显的上升趋势，未来的发展空间还是非常值得期待的。
随着Python语言的发展，目前不少程序员开始转向Python开发，在学习Python开发的过程中，一个比较常见的案例就是采用Python开发爬虫。用Python开发爬虫是比较方便的，尤其在当前的大数据时代，通过爬虫来获取Web数据是一个比较常见的数据采集方式，所以在大数据应用的早期，通过Python开发爬虫是不少Python程序员的重要工作内容之一。
但是随着大数据采集技术的逐渐成熟，一些爬虫类工具也越发完善，通过Python开发爬虫的需求也有了一定程度的下滑，这在一定程度上降低了Python爬虫开发的岗位需求量。早期从事Python爬虫的工作岗位多集中在互联网公司和行业资讯公司，随着相关岗位的人员配备逐渐齐全，这部分岗位的招聘需求量必然会下降。
随着物联网的发展，目前对于大数据的采集工作会向物联网和行业领域转移，这也是产业互联网发展阶段的一个重要特点，所以单纯从事Python爬虫开发在未来的就业形势并不明朗，建议进一步掌握通过Python进行数据分析等技能。
我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
如果有互联网方面的问题，也可以咨询我，谢谢！
