上海司尔亚司数据信息有限公司

Web采集测试工程师（Python）

6 days ago

Save Job

该职位来源于猎聘 Responsibilities工作职责：

Automation of Data Collection Processes, including web crawling, web scraping and external data providers integration.数据收集流程的自动化，包括网络爬虫、网页抓取以及与外部数据提供商的集成。
Automation of “Extract Transform Load” (ETL) Processes, using a variety of open-source libraries and internal/custom frameworks.利用各种开源库和内部/自定义框架，实现“提取-转换-加载”（ETL）流程的自动化。
Good understanding of different data formats such as pdf, json, xlsx, html, xml, YAML, ZIP, etc. 对pdf、json、xlsx、html、xml、YAML、ZIP等不同数据格式有很好的理解。
Use Python, JavaScript, Perl and Regular Expressions into your day-to-day work in a Linux environment.在Linux环境下，将Python、JavaScript、Perl和正则表达式应用于日常工作中。 Requirements岗位要求：
Knowledge of Python and HTML.熟悉Python和HTML。
Using Linux as a working environment.使用Linux作为工作环境。
Good analytical & problem-solving skills.具备良好的分析和解决问题的能力。
JavaScript as an advantage.具备JavaScript技能者优先。
Knowledge of Internet Protocols like HTTP, HTTPS, SFTP, SSL, SMTP etc. as an advantage.了解HTTP、HTTPS、SFTP、SSL、SMTP等互联网协议者优先。
Linux advance level (CentOS, bash, services) as an advantage.具备Linux高级水平（CentOS、bash、服务）者优先。