采集项目经理岗位职责

采集项目经理万库标杆万库标杆科技有限公司,万库标杆,盛搜,万库标杆业务工作:

1.遵守部门业务流程/规范并认真执行;

2.负责项目组采集需求验收,对验收结果整体负责;

3.负责解决采集防抓取、异步加载等技术难点,编写复杂种子/数据采集脚本;

4.负责采集任务的资源需求测算、回滚策略制定和任务上线申请;

5.负责采集脚本上线冒烟测试,保证测试结果正确;

6.负责各线上采集任务的进度、质量、数量及更新情况检查,及时发现问题并解决;

7.负责解决网站改版、需求变更等情况产生的脚本、种子、数据、资源的变更问题;

8.负责采集及更新过程的状态监控,及时分析异常并解决,按时输出统计分析报告;

9.负责制定采集任务的数据更新周期及更新策略并落实;

10.负责采集数据的清洗(如去脏数据、清理标签等)、规整(如规范省市名称等)、标准化(如日期电话格式化等)、归一及特征属性的提取、分析;

11.参与采集系统的技术开发,基于问题,持续提出对采集系统优化方案;

管理工作:

1.负责根据公司/部门任务目标,按月制定项目计划,推动项目立项、实施、交付全过程;

2.负责整体把控项目计划各节点的数量、质量、进度、风险和成本,解决难点/关键点,组织/协调所需资源,推动各小组按计划输出成果,保证项目交付成功;

3.负责在项目计划各节点对项目全员进行绩效考核,按月输出绩效考核表;

4.负责以问题为牵引,持续建设、完善部门、项目的业务流程/规范/制度;

5.及时发现问题、解决问题并记录至问题跟踪表,定期将项目问题汇总并上传到知识库;

6.负责将问题整理成培训案例,对项目组全员进行业务培训、业务指导、纠错纠偏;

7.负责项目组团队组建(招聘)、业务骨干培养,企业文化宣贯及落实;

8.遵守公司管理制度,认同公司企业文化,接受绩效考核;

9.承接上级领导交办的临时任务,配合跨部门工作。

任职条件要求:

专业

1.计算机、信息管理相关专业,本科及以上学历;

2.掌握项目管理专业知识;

3.系统的大数据理论知识;

技能

1.精通正则表达式、Javascript、JSON;

2.精通Python、Scrapy、Ajax请求过程;

3.熟悉HTTP协议(POST、GET、Header信息)、URL编解码;

4.熟悉网页DOM结构、CSS选择器、JQUERY;

5.熟悉LinuxShell脚本和命令(grep、awk);

6.熟悉Mysql数据库分表、分库及SQL语句;

7.熟悉Hadoop生态圈(hdfs、hbase、hive、spark、zookeeper、kafka等);

8.熟练使用Git、SVN、禅道、NotePad++、Excel、Word、Chrome浏览器控制台、Navicat、VNC、SSH等工具;

项目经验

1.有3年及以上的数据采集经验;

2.有文献、新闻、商品、图片、音视频或国外数据抓取采集经验;

3.丰富的代理、验证码、图片识别、登录验证等防抓取解决经验;

4.有采集系统架构设计、开发经验;

管理经验

1.有1年及以上项目管理及风控经验;

2.熟悉基于SOP的现代化公司管理制度;

3.有业务、项目流程/规范/制度建设、完善经验优先;

4.有团队组建(招聘)经验;

5.有PMP认证者优先;

价值观

1.对工作严谨、专注、勤勉;

2.责任心强、正直、忠诚、有担当;

3.认同以客户为中心,责任结果为导向、以问题为牵引的流程化、制度化、精细化管理,质量至上;

4.有团队精神、高度配合、善于协作,乐于分享、优化创新;

综合素质(能力/思维模式)

1.有推动力、执行力、计划力、组织力、控制力、指挥力,能带领团队完成任务;

2.有较好的维度思维、层级思维、逻辑思维、系统思维;

3.高度的服务意识和大局观意识;

4.安全保密、忠于职守;