博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
如何使用python抓取issues.apache.org上的bug列表
阅读量:6427 次
发布时间:2019-06-23

本文共 1218 字,大约阅读时间需要 4 分钟。

问题描述

开源在Apache的项目中,通常我们会关心我们开源的项目中每天bug的数量、最新的10条问题,统计各模块的bug数量,按照人名统计等工作。但这些数据都在apache网站上,存在两个问题,一个是国内平常访问Apache如果不走代理就会比较慢;二是数据没办法供内部系统使用。

于是我想到用一个脚本每天定时运行来解决数据的问题。通过脚本从Apache上把数据拉下来存储在自己内部数据库中,基于本地数据库运行的内部系统可以完成各种图表展示和数据统计的工作,这样即提高了数据访问的效率,也可以很好的和内部系统结合完成自动化的问题跟踪和解决。同时还可以将外部系统和内部bug跟踪系统进行对比,将重复的问题自动化的补充答案。等等,优点多多。

欢迎大家打开脑洞提出更多的方案!

1.使用说明

脚本依赖:

此脚本依赖于,各位点击连接自取,安装requests可能会依赖于pip,大家可以把python升级到2.7以上安装pip,2.7以下用网上教程会报错。

脚本使用说明:

python SCRIPT_NAME FILE_NAME

SCRIPT_NAME:下面这段代码所在的文件名
FILE_NAME: 将数据导入到的目标文件名,后缀默认为csv

示例:

python jira.py ~/dataFile

2.分享完整代码

打开python的文件jira.py,内容如下:

import requestsimport sysreload(sys)##设置系统编码,如果不是utf-8会有错误sys.setdefaultencoding('utf-8')dataFileName=sys.argv[1]jiraFileName=dataFileName+'.csv'print "Load from JIRA -------------------"##load from JIRAurl = "https://issues.apache.org/jira/sr/jira.issueviews:searchrequest-csv-all-fields/temp/SearchRequest.csv?jqlQuery=project+%3D+TRAFODION+AND+resolution+%3D+Unresolved+ORDER+BY+priority+DESC%2C+updated+DESC"r = requests.get(url)with open(jiraFileName, 'w') as f:    f.write(r.text)

3.遇到的问题总结

1)操作系统中最初用的是python2.6的环境,结果安装pip一直报错,先是报没有权限,这个只要用sudo可以解决;接下来是报一些语法错误,如下图:
图片描述

2)系统编码问题,不设置sys.setdefaultencoding('utf-8'),python脚本就会暴出编码问题。

图片描述

转载地址:http://xbfga.baihongyu.com/

你可能感兴趣的文章
python中异常处理--raise的使用
查看>>
高中数学与初中数学的接轨点
查看>>
python 安装第三方模块
查看>>
Whitelabel Error Page 专题
查看>>
Spring Data Redis—Pub/Sub(附Web项目源码)
查看>>
RSD和wlwmanifest是什么
查看>>
Linkedin工程师是如何优化他们的Java代码的(转)
查看>>
winfrom 如何保存datagridview中的某一行数据
查看>>
面向领域驱动的应用开发框架Apworks 2.0发布
查看>>
开发自己的Web服务处理程序(以支持Ajax框架异步调用Web服务方法)
查看>>
ref和out
查看>>
黑客教父详解账号泄露全过程:1亿用户已泄露
查看>>
程序员必须软件
查看>>
Canvas里的globalCompositeOperation
查看>>
解决Unable to locate theme engine in module_path: "pixmap"
查看>>
贝叶斯文本分类c#版
查看>>
Centos安装KDE或GNOME
查看>>
Eclipse & IDEA 中常用的快捷键
查看>>
javascript ---IPhone滑动解锁
查看>>
table固定行和表头
查看>>