面试奖金:¥50.00 | 10K~ 25K | 12~13薪 | 1-3年
爬虫工程师-面试奖金: 50.00-武汉侏罗纪-武汉侏罗纪技术开发有限公司。
胜哥英才网:企业免费发布职位,企业设置职位面试奖金(5~1000元)。人才参加面试领面试奖金,没有面试5日后全额退还给企业。
百度搜索胜哥英才网投递简历。
工作地址:光谷智慧园12栋
职位描述:
1、面向石油行业网站及论坛,负责数据抓取产品的架构、设计及实现;
2、面向百度和谷歌,对石油相关关键词的搜索列表抓取工具的架构、设计及实现;
3、负责制定安全策略,有针对性的设计防爬虫策略;
4、负责网页信息的抽取、数据清洗等研发和优化工作;
5、负责制定爬虫产品运维机制,保障产品的安全部署和7*24小时运行;
6、针对抓取的海量数据,设计存储、检索和管理平台,提供数据服务;
7、根据互联网数据更新频率,建立实时抓取策略,保证获得最新数据;
任职要求:
1、对网络编程,开发有一定的了解;
2、熟悉开源的爬虫引擎,如:Nutch、Scrapy等;
3、有较强的数据分析与建模能力;
4、至少两年以上网络爬虫研发经验;
5、至少掌握两门以上开发语言,包括:Java、Python、Go、C#;
6、熟悉多线程编程,有数据挖掘经验者优先;
7、了解Ajax数据抓取、登录爬取等相关技术;
8、熟悉Html、Xml解析,精通正则表达式;
9、善于学习新事物,有良好的团队合作意识;
10、曾剖析过百度和谷歌搜索技术优先考虑;
11、有分布式爬虫开发者经验者优先;
12、有Hadoop海量数据存储经验优先;
13、具有数据挖掘、自然语言处理、信息检索和机器学习背景者优先;
14、对数据敏感,有石油行业信息化工作优先考虑。