一、基本情况

队名：奶茶命运共同体

组长博客：

小组人数：9

二、冲刺概况汇报

吴振溢：

• 过去两天完成了哪些任务

  • 省份政策热词排名及占比表组件封装。

  • 展示GitHub当日代码/文档签入记录

• 接下来的计划

  • 模拟接口注入数据。

• 还剩下哪些任务

  • 接口接入

• 燃尽图

• 遇到了哪些困难

  dataV自带chart数据结构冗余复杂

• 有哪些收获和疑问

  进一步学习了dataV的使用。

  抽象数据结构并封装

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发
  · Analysis	· 需求分析 (包括学习新技术)	-	-
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
  · Design	· 具体设计	-	-
  · Coding	· 具体编码	120	80
  · Code Review	· 代码复审	10	10
  · Test	· 测试（自我测试，修改代码，提交修改）	10	10
  Reporting	报告
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	-	-
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
  	· 合计	150	110

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	168	168	2.5	2.5	完成标题和财政收入排名图
  2	262	430	2	4.5	完成政策总数数字翻牌器
  3	215	645	2	6.5	完成全国高频政策词汇排名动态轮播图
  4	122	767	2	8.5	完成全国热词TOP5动态环图
  5	144	911	2.5	11	完成省份政策热词排名及占比表

黄朝威：

• 过去两天完成了哪些任务

  • 对浙江省接口的重新分析，整合有效参数尝试爬取有效数据

  • 对上海市接口的分析，尝试爬取有效数据以及

  • 展示GitHub当日代码/文档签入记录

• 接下来的计划

  • 对于浙江省爬取中获得的经验推广至剩余省份

• 还剩下哪些任务

  • 各种省份及其部门的数据规范爬取。
  • 对应部分省份的不同地级市的数据爬取。

• 燃尽图

• 遇到了哪些困难

  浙江省的爬取又给我上了一堂课，之前是爬取过所有的数据，经过分析之前的爬取结果后发现数据缺失了非常多，后来对每次爬取相同页数发现一个问题，尽管爬取参数一致，但返回的数据不完全一致，经过不断调整参数和删除无用头后确认应该就是返回不同数据，部分重复数据可能在不同请求中复现，这将导致重复数据抓取，而原先的请求可能又有不同的数据，这使得要获得完整性数据将有挑战性。

• 有哪些收获和疑问

  • 又又又进一步加强了Debugger能力，进一步加强了对PyCharm各种工具的使用，以及我的评价是PyCharm的git操作还真方便，准确来说是git图形化操作就便捷，又进一步熟悉了如何通过网页开发者工具获取部分有用信息，了解基本逆向JS和基本的参数。
  • 在尝试更改参数中无意触发返回数据带有完整文本内容，先前爬取的数据均不带有完整文本内容，需要跳转页面重新对文本内容进行分析，这将过滤和筛选部分重复文本内容较为麻烦，但浙江的部分参数提供了我参考的方向。
  • 疑问在于浙江请求的设计，相同参数情况下返回内容不一致，对于访问者可能会疑问到为什么政策更新速度这么快？

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	5	15
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发
  · Analysis	· 需求分析 (包括学习新技术)	20	30
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	30	20
  · Design	· 具体设计	10	60
  · Coding	· 具体编码	100	60
  · Code Review	· 代码复审	10	10
  · Test	· 测试（自我测试，修改代码，提交修改）	10	50
  Reporting	报告
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	5	10
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	10
  	· 合计	200	270

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	325	325	12	12	成功抓取特定的数据，完成对于项目可行性的分析。
  2	132	457	8	20	完善对福建单一省份的数据爬取方式，为后续其它省份提供参考代码将极大简化工作。
  3	298	755	11	31	又对福建省单一省份数据抓取方式进行更新，以及推广至广东省使用。
  4	175	930	8	39	对广东省数据抓取方式不断更新迭代，不断处理存在的异常。
  5	188	1118	5	44	对浙江省抓取中意外通过某种方式直接获得对应文本内容

周伟杰

• 过去俩天完成了哪些任务

  • 学习了异常的统一处理
  • 暂无github签入记录

• 接下来的计划

  • 进一步的学习

• 还剩下哪些任务

  • 完成返还省份活跃度排名的接口
  • 服务器部署上线

• 燃尽图

• 遇到哪些困难

  • 这周考俩门，要寄了

• 有哪些收获与疑问

  • 基本了解后端开发流程

• PSP&学习进度条

  • PSP表格

    PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
    Planning	计划	10	10
    Estimate	估计这个任务需要多少时间	10	10
    Development	开发	200	220
    Analysis	需求分析 &ppt&(包括学习新技术)	200	220
    Design Spec	生成设计文档	-	-
    Design Review	设计复审	-	-
    Coding Standard	代码规范 (为目前的开发制定合适的规范)	-	-
    Design	具体设计	-	-
    Coding	具体编码	-	-
    Code Review	代码复审	-	-
    Test	测试（自我测试，修改代码，提交修改）	-	-
    Reporting	报告	10	15
    Test Report	测试报告	-	-
    100Size Measurement	计算工作量	-	-
    Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	15
    Total	合计	220	245

    • 学习进度表

    第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
    1	0	0	6	6	掌握了后端开发基础知识
    2	0	0	5	11	了解了mybatis-plus的使用
    3	500	500	6	17	环境基本搭建
    4	100	600	6	23	接口编写50%
    5	0	600	2	2	学习了springboot的异常处理

张乐芃：

• 过去两天完成了哪些任务：

  • 搜索模块（90%）

• 接下来计划：

  • 搜索模块剩余

• 还剩下哪些任务：

  • api封装
  • 各模块交互
  • 前后端联调
  • 部署上线

• 燃尽图：

• 遇到了哪些困难：
  • 好多考试，时间分配不过来
• 有哪些收获和疑问：
  • 收获：emmm普普通通加深了开发印象
  • 疑问：我的考试能帮帮我吗
• PSP表格

• 学习进度表

周浩东：

• 过去两天完成了哪些任务：

  • RDF三元组转化

• github签入记录

• 接下来计划：
  • 本体知识推理
  • 进行知识抽取
• 还剩下哪些任务：
  • 知识推理
  • 知识抽取
  • 部署上线
  • 知识融合
• 燃尽图

• 遇到了哪些困难：
  • 本体建模知识多，工具不易读
• 有哪些收获和疑问：
  • RDF三元组转化为nt格式
• PSP表格

• 学习进度表

潘春佳：

• 过去两天完成了哪些任务：

  • 看视频学知识

  • GitHub签入记录：
    

• 接下来计划：
  博客文档编辑、制作UI界面图

• 还剩下哪些任务：
  后期UI设计，ppt报告编写

• 燃尽图
  

• 遇到了哪些困难：
  考试临近，时间安排困难

• 有哪些收获和疑问：
  学会了Button和Textview的用法

• PSP表格

• 学习进度表

蔡树峰：

• 过去两天完成了哪些任务

  • 撰写博客

  • 组织第五次会议，进行会议记录

  • 展示GitHub当日代码/文档签入记录

• 接下来的计划

  • 继续写博客
  • 在实践中继续学习

• 还剩下哪些任务

  • 写博客
  • 做视频

• 燃尽图

• 遇到了哪些困难

  过去两天两场考试。

• 有哪些收获和疑问

  学习springboot框架

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	10	10
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发	40	60
  · Analysis	· 需求分析 (包括学习新技术)	10	10
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
  · Design	· 具体设计	-	-
  · Coding	· 具体编码	-	-
  · Code Review	· 代码复审	-	-
  · Test	· 测试（自我测试，修改代码，提交修改）	-	-
  Reporting	报告	40	40
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	5	5
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
  	· 合计	115	135

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	0	0	2	2	数据库操作
  2	100	100	1.5	3.5	-
  3	0	100	3	6.5	-
  4	0	100	2	8.5	-
  5	120	220	3	11.5	-

林蒋辉：

• 过去两天完成了哪些任务：

  • 安装，配置，测试solr
  • github签入记录

• 通过solr实现热点词汇功能

• 还剩下哪些任务：

  • 通过solr完成热点词汇接口

• 燃尽图：

• 遇到了哪些困难：

  • 陌生的框架，需要摸索

• 有哪些收获和疑问：

  • 尝试实现一种开发中重要的常用功能

• PSP表格

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	30	30
  Estimate	估计这个任务需要多少时间	10	10
  Development	开发	400	360
  Analysis	需求分析 &ppt&(包括学习新技术)	400	400
  Design Spec	生成设计文档	-	-
  Design Review	设计复审	-	-
  Coding Standard	代码规范 (为目前的开发制定合适的规范)	-	-
  Design	具体设计	-	-
  Coding	具体编码	-	-
  Code Review	代码复审	-	-
  Test	测试（自我测试，修改代码，提交修改）	-	-
  Reporting	报告	10	15
  Test Repor	测试报告	-	-
  100Size Measurement	计算工作量	5	5
  Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	5	10
  Total	合计	860	830

  • 学习进度表

    第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
    1	0	0	6	6	参考了长文本存储的数据库设计，对检索功能的实现有了一定的想法
    2	107	107	1	1
    3	0	0	5	11	了解了一种web开发中一种重要功能的实现
    4	450	557	5	16	学会使用一个新的框架
    5	100	100	2	18	学会使用一个新的框架

陈宇扬：

• 过去两天完成了哪些任务：

  • 更新已爬取信息的数据格式
    

• 接下来计划：

  • 完成目前正在爬取的省份政策文件的获取。

• 还剩下哪些任务：

  • 其他省份政策相关获取；
  • 其他省份下属地级市相关政策获取；

• 遇到了哪些困难：

  • 对接数据库时发现自己爬取的数据有一些出现了乱码
  • 同样，对政府网站请求过快网站会断开连接，导致在一段时间内没有爬到信息

• 有哪些收获和疑问：

  • 重新爬取了某些政策文件库，更新爬取代码
  • 设置sleep时间，来控制对url的访问间隔，可以减少被主动断开连接的可能

• PSP表格

• 学习进度表

三、冲刺成果展示

• 展示组内最新成果

  • 爬取广东省和福建省的数据并导入数据库
    

• 站立会议合照
  

• 会议耗时记录（每次追加记录）