【学习笔记】PYTHON语言程序设计(北理工 嵩天)
1 Python基本语法元素
1.1 程序设计基本方法
计算机发展历史上最重要的预测法则 摩尔定律:单位面积集成电路上可容纳晶体管数量约2年翻倍 cpu/gpu、内存、硬盘、电子产品价格等都遵循此定律
50年来计算机是唯一一个指数发展的领域
源代码、目标代码(机器代码)
编译、解释
静态语言、脚本语言
静态语言编译器一次性生成目标代码,优化更冲份,程序运行速度更快
脚本语言 执行程序时需要源代码,维护更灵活
程序的基本设计方法IPO
I:input 文件输入、网络输入、控制台输入、交互界面输入、内部参数输入
P:process 处理
O:output 控制台输出、图形输出、文件输出、网络输出、操作系统内部输出
6个步骤:
-分析问题:分析问题的计算部分,想清楚
-划分边界:划分问题的功能边界,规划IPO
-设计算法:设计问题的求解算法,关注算法
-编程
-调试测试
-升级维护
3个精简步骤:确定IPO、编程、调试运行
计算思维(编程体现了一种抽象交互关系、自动化执行的思维模式)、逻辑思维、实证思维
1.2 Python开发环境配置
python 蟒蛇
psf 拥有者,开放、开源精神
Guido van Rossum创立
2002年 2.x
2008年 3.x
python3不兼容python2
交互式、文件式
linux自带python2和python3,无需安装,不过没有pip,要安装apt install python3-pip
1.3 实例1:温度转换
实例1:温度转换
需求:摄氏度与华氏度相互转换
#TempConvert.py TempStr = input("请输入带有符号的温度值: ") if TempStr[-1] in ['F', 'f']: C = (eval(TempStr[0:-1]) - 32)/1.8 print("转换后的温度是{:.2f}C".format(C)) elif TempStr[-1] in ['C', 'c']: F = 1.8*eval(TempStr[0:-1]) + 32 print("转换后的温度是{:.2f}F".format(F)) else: print("输入格式错误")
1.4 Python程序语法元素分析
程序的格式框架:
代码高亮 是辅助
缩进是语法要求 一般4个空格或者1个tab 表达代码间包含和层次关系的唯一手段
注释:单行注释 # 多行注释 ”’ ”’
命名:给变量关联标识符的过程
命名大小写敏感、首字符不能是数字、不与保留字相同
保留字:被编程语言内部定义并保留使用的标识符 也大小写敏感 33个
数据类型
字符串
用‘’或“”
正向递增序号、反向递减序号 正向0开始编号
索引: 可以使用[M]索引其中单个字符
切片:可以使用[M:N]返回其中一段子串,从第M到第N-1个字符
数字类型:整数、浮点数
列表:表示0到多个数据组成的有序序列,采用,分隔各元素,使用in判断一个元素是否在列表中
= 赋值主语句
分支语句if elif else构成
eval 评估函数 去除参数最外侧引号并执行余下语句的函数
垂直输出hello world
for i in “Hello World”:
print(i)
输出
x = input()
print(eval(x)**0,eval(x)**1,eval(x)**2,eval(x)**3,eval(x)**4,eval(x)**5)
2. Python基本图形绘制
2.1 深入理解Python语言
计算机演进过程:
1946-1981 计算机系统结构时代 计算能力问题 1981年个人pc诞生
1981-2008 网络和视窗时代 交互问题 2008 Android诞生 标志pc转向移动
2008-2016 复杂信息系统时代 数据问题 2016年alpha go打败人类
2017- 人工智能时代 人类的问题
新计算时代 过度到人工智能时代的中间时代
编程语言的初心
不完全统计600多中语言 常用的也就那么20来种
python已经在tiobe排行超过C++跃居第三
Python语言是通用语言、脚本语言、开源语言、跨平台语言、多模型语言
–强制可读性
–较少的底层语法元素
–多种编程方式
–支持中文字符
–C代码量的10% 语法简洁 *10
–13万第三方库 生态高产 *10
–快速增长的计算生态 每年2万
–避免重复造轮子
–开放共享
–跨操作系统平台
人生苦短 我学Python
–C/C++:C归C Python归Python
–Java:针对特定开发和岗位需求
–HTML/CSS/JS:不可替代的前端技术,全栈能力
-R/GO/Matlab等:特定领域
Python是最高产的程序设计语言
–掌握抽象并求解计算问题综合能力的语言
-了解产业界解决复杂计算问题方法的语言
-享受利用编程将创新变为实现乐趣的语言
工具决定思维:关注工具变革的力量!
python具有最庞大的生态库,是唯一的超级语言,前进步伐不可阻挡
2.2 实例2:Python蟒蛇绘制
2.3 模块1: turtle库的使用
turtle库基本介绍
import 保留字 引入turtle绘图库 海龟绘图体系
turtle库是turtle绘图体系的Python实现 1969年诞生,主要用于程序设计入门 Python的标准库之一 入门级的图形绘制函数库
Python计算生态=标准库+第三方库
库library,包package,模块module ,统称模块
有一只海龟,其实在窗体正中心,在画布上游走,走过的轨迹绘制的图形,海龟由程序控制,可以变换颜色宽度
turtle绘图窗体布局
turtle的一个画布空间 最小单位是像素
屏幕坐标系:屏幕左上角为0 0
turtle.setup(width,height,startx,starty)后两个可选 默认屏幕中央 并不是必须的 用来设置窗体大小和窗体左上角与屏幕左上角的相对位置
turtle空间坐标系:
绝对坐标 海龟在屏幕中央 记为(0,0)坐标原点 turtle.goto(x,y)
海龟坐标 以海归的视角turtle.fd(d),turtle.bk(d),turtle.circle(r,angle) 左侧r为止为中心行走angle角度的弧线
turtle角度坐标体系
绝对角度 改变海龟前进方向 turtle.seth(angle)海龟角度 turtle.left(angle),turtle.right(angle)
RGB色彩体系 0-255整数或 0-1 的小数
默认采用小数制,可切换为整数制 turtle.colormode(mode) mode为1.0或255
2.4 turtle语法元素分析
库引用
扩充Python程序功能的方式 使用import保留字完成,采用.()的编码风格
from turtle import* 缺点 函数重名 适用于短的程序
from turtle import函数名
可以as保留字起别名 import turtle as t –推荐使用
画笔控制函数
画笔操作后一直有效,一般成对出现
-turtle.penup() 别名turtle.pu() 抬起画笔,海龟在飞行
-turtle.pendown() 别名turtle.pd() 落下画笔,海龟在爬行
画笔设置后一直有效,直到下次设置
-turtle.pensize(width) 别名turtle.width(width) 画笔宽度,海龟腰围
-turtle.pencolor(color) color为颜色字符串或rgb值 画笔颜色,海龟在涂装
-颜色字符串 turtle.pencolor(“purple”)
-rgb小数 turtle.pencolor(0.63,0.13,0.94)
-rgb元组值 turtle.pencolor((0.63,0.13,0.94))
运动控制函数
控制海龟行进:走直线&走曲线
-turtle.forward(d) 别名 turtle.fd(d) 向前行进,海龟走直线 d可以为负数
-turtle.circle(r,extent=none) 根据半径r绘制extent角度的弧线 r默认圆心在海龟左侧r距离的位置 -extent绘制角度,默认是360度
方向控制函数
turtle.setheading() 别名turtle.seth() 控制海龟面对方向:绝对角度 海龟角度
turtle.left() turtle.right()
循环语句
for in 保留字
range() 产生循环计算序列 range(N) range(M,N) 0到N-1 M到N-1
turtle.done() 运行结束 不退出 需要手工退出 去掉就自动退出了
3. 基本数据类型
3.1 数字类型及其操作
整数类型:可正可负 取值无限 pow(x,y) x的y次方
4种进制表示:10进制、二进制0b或0B开头 0b010、8进制0o或0O、16进制0x或0X
浮点型 10的308次方 精度达到:10的-16次方小数 即53位二进制 与数学中实数一致
不确定尾数 (浮点数运算)不是bug 53位二进制表示浮点数的小数部分 约10的-16次方 计算机中的二进制和十进制不完全对等
二进制表示小数,可以无限接近,但不完全相同
0.1+0.2 结果接近0.3
0.1+0.2 == 0.3 false 用round(x,d)处理不确定尾数 不确定位数一般发生在10的-16次方左右
科学计数法 e或E作为幂的符号,10为基数 e 4.3e-3
复数类型 z.real z.imag 获得实部和虚部
数值运算操作符
x+y x-y x*y x/y x//y +x -y x%y x**y ps:x/y 是浮点数 别的语言中不是这样
二元操作符有对应的增强赋值操作符
x op =y x+=y x-=y x*=y x/=y x//=y x%=y x**=y
类型间可以混合运算 结果生成为“最宽”的类型 隐式转换 整数->浮点数->复数 如123+4.0=127.0
数值运算函数
abs(x) 绝对值
divmod(x,y) 商余 divmod(10,3) 结果是二元数(3,1)
pow(x,y[,z]) 幂余
round(x[,d]) 四舍五入
max(x1,x2,..)
min(x1,x2,..)
int(x) 显示类型转换, 变为整数,舍弃小数
float(x) 转浮点数
complex(x) 转复数
3.2 实例3:天天向上的力量
问题分析:持续的价值 一年365天每天进步1%,累计进步多少?相反,每天退步1%,累计剩下多少?如果三天打渔二天晒网呢?
每天进步或退步0.1%
如果是0.5% 1%呢
如果是工作日的力量?工作日进步1%,休息日退步1%工作日的努力要达到多少才能和每天努力1%一样?
3.3 字符串类型及操作
四种字符串表示方法:
由一对单引号或双引号表示单行字符串
由一对三引号或三双引号表示多行字符串
三单引号表示字符串,程序啥都不执行,相当于注释,python实际没有真正提供多行注释
[M:N:K]根据步长对字符串切片 M和N均可以缺失,表示至开头或至结尾
[::-1]倒序转义符\ \b 回退 \n 换行 \r 回车光标移动到行首
字符串操作符
x+y 连接两个字符串
n*x或x*n 复制n次字符串x
x in s
字符串处理函数
len(x) 字符串长度 中英文长度都是1
str(x) 强制类型转换为字符串 和eval相反操作
hex(x) 整数x转变为8进制形式
oct(x) 整数x转变为16进制形式
chr(x) 将unicode编码返回其字符形式
ord(x) 上面的反操作
unicode编码 统一字符编码 从0到1114111(0x10FFFF) Python字符串每个字符都是unicode编码
字符串处理方法
8个字符串处理方法
.lower() .upper() 大小写转换
.split(sep=None) 字符串分割,返回一个列表 例:”a,b,c”.split(‘,’)结果是[‘a’, ‘b’, ‘c’]
.count(sub) 字符串sub在其中出现次数
.replace(old,new) 字符串替换
.center(width[,fillchar]) 字符串格式处理,字符串居中 例: ‘python’.center(30,’=’) 结果’============python============’
.strip(chars) 去除字符换两边字符 如:’= python= ‘.strip(‘ =np’)结果’ytho’
.join(iter) 填充字符 如:’,’.join(‘12345′)结果’1,2,3,4,5’
字符串类型的格式化
格式化是对字符串进行格式化表达的方式
.format方法 用法:<模板字符串>.format(<逗号分隔的参数>)
槽 相当于占位信息符,只在字符串中有用
分为2组
前三个参数是一组 默认填充空格左对齐
如: “{:=^20}”.format(“python”) 结果: ‘=======python=======’
如: “{0:,.2f}”.format(12345.6789) 结果 ‘12,345.68’
如:”{0:b} {0:c} {0:d} {0:o} {0:x} {0:X}”.format(425) 结果’110101001 ? 425 651 1a9 1A9′
如: “{0:e} {0:E}{0:f} {0:%}”.format(3.14) 结果 ‘3.140000e+00 3.140000E+003.140000 314.000000%’
3.4 模块2:time库的使用
time库是Python中处理时间的标准库
时间获取
time() 获取当前时间戳,即计算机系统内部时间值,浮点数 1970年1月1日0点0分开始到当前系统以秒为单位的浮点数 如:1537763974.4934046
ctime() 获取当前时间,返回字符串,人类易读 如:’Mon Sep 24 12:41:59 2018′
gmtime() 获取当前时间,struct_time格式,计算机易处理的格式
如:time.struct_time(tm_year=2018, tm_mon=9, tm_mday=24, tm_hour=4, tm_min=42, tm_sec=52, tm_wday=0, tm_yday=267, tm_isdst=0)
时间格式化
strftime()格式化字符串striptime()
程序计时
perf_counter()sleep()
3.5 实例4:文本进度条
问题分析:采用字符串方式打印可以动态变化的文本进度条 能在一行中逐渐变化
刷新的本质:用后打印的字符覆盖之前的字符
print() 默认加换行 print( ,end=””)不换行 \r退格到行首
idle不是主要的运行环境 所以\r功能在idle屏蔽了 用shell执
文本进度条 简单的开始
文本进度条 单行动态刷新文本进度条 实例完整效果
4.程序的控制结构
4.1 分支结构
单分支结构
if <条件>:
<程序1>
二分支结构
if <条件1>:
<程序1>
else:
<程序2>
紧凑形式:适用于简单表达式的二分支结构
<表达式1> if <条件> else <表达式2>
如:
guess = eval(input())
print(“猜{}了”.format(“对”if guess == 99 else ”错”))
多分支结构
if <条件1>:
<程序2>
elif <条件2>:
<程序3
else:
<程序n>
条件判断> >= < <= == !=
条件组合x and y x or y not x
异常处理
try:
程序1
except [NameError]:
程序2
try:
程序1
except:
程序2
else:
程序3
finally:
程序4
4.2 实例5:身体质量指数BMI
问题分析:BMI是身体肥胖程度的刻画(BODY MASS INDEX) BMI=体重(kg)/身高的平方(m),接收用户信息判断身体肥胖程度
4.3 循环结构
for 遍历循环
for <循环变量> in <遍历结构>:
<语句块>
记数循环
for I in range(5):
print(i)
for I in range(m:n:k):
print(i)
字符串遍历循环
for c in s:
<语句块>
for c in “Python123”:
print(c)
列表遍历循环ls是列表
for item in ls:
<语句块>
for item in [123,”py”,456]:
print(item,end=’,’)
文件遍历循环 fi是文件标识符
for line in fi:
<语句块>
while 无限循环
while <条件>:
<语句>
循环控制保留字break continue
循环扩展:两种循环后面都可以加else分支 else为没有被break退出是执行的,作为正常运行的奖励
4.4 模块3:random库使用
random库是使用随机数的python标准库
计算机没法产生真正的随机数,但是可以使用梅森旋转算法产生伪随机数
使用 import random
random库包括2类函数,常用共8个
基本随机数函数:seed(),random()
括展随机数函数:randint(),getrandbits(),uniform(),randrange(),choice(),shuffle()
随机数种子
seed(a=None) 初始化给定的随机数种子,默认为系统当前时间,例:random.seed(10) #产生种子10对应的序列 0.5714025946899135 0.4288890546751146 ..
random() 生成一个[0.0,1.0)之间的随机小数,例:random.random()
为什么要使用随机数种子呢,因为可以使用相同的随机数种子复现程序的执行情况
randint(a,b) 生成一个[a,b]之间的整数,例:random.randint(10,100)
randrange(m,n[,k]) 生成一个[m,n)之间以k为步长的随机整数,例:random.random(10,100,10)
getrandbits(k) 生成一个k比特长的随机整数
uniform(a,b) 生成一个[a,b]之间的随机小数
choice(seq) 从序列中随机选择一个元素,例:random.choice([1,2,3,4,5,6])
shuffle(seq) 将序列中元素随机排序,返回打乱后的序列,例:s=[1,2,3,4];random.shuffle(s);print(s)
4.4 实例6:圆周率计算
蒙特卡罗方法 工程方法
数学思维
计算思维
time库perf_counter来关注程序性能
据统计,程序80%的时间消耗在不到10%的代码上 有点儿类似28法则
关注循环
5.函数和代码复用
5.1 函数的定义与使用
函数定义
函数是一段具有特定功能可复用的语句
df <函数名>(参数):
<函数体>
return <返回值>
其中参数可以是0个到多个,是占位符
函数不经过调用是不会执行的
函数就是IPO的实现
函数也是一段完整代码的封装
函数的参数传递
可选参数传递:可以为参数指定默认值,变为可选参数,可选参数要放在非可选参数之后可变参数传递:不确定参数有多少个
参数传递的两个方式
默认是按照位置,可以按照名称方式传递
函数的返回值
return可以返回0个或多个结果
函数可以有返回值也可以没有
可以有return 也可以没有
返回多个值的时候是返回元组类型 用() 元素用逗号分隔
局部变量与全局变量
函数外边的是全局变量,里面是局部变量
局部变量是函数内部的占位符,可能与全局变量重名单不相同
函数运行结束后局部变量被释放
规则1:局部变量与全局变量是不同变量
可以使用global保留字在函数内部使用全局变量
规则2:局部变量如果是组合数据类型且未被创建,等同于全局变量 组合数据类型实际是指针的原因
lambda函数
lambda函数返回函数名作为结果
lambda函数是一种匿名函数,没有名字的函数
lambda函数用于定义一种简单的能够在一行内表示的函数
是一种函数的紧凑表达形式
<函数名> = lambda <参数>:<表达式>
f = lambda x,y : x + y
f(10,15)
谨慎使用lambda函数
用于特定的方法的参数
一般就算是1行代码,也建议用def方式定义
5.2 实例7:七段数码管绘制
问题分析:用turtle绘制数码管样式的时间
5.3 代码复用与函数递归
代码复用
代码抽象化:使用函数等方法对代码赋予更高级别的定义
函数和对象是代码复用的2中主要形式
函数是在代码层面建立了初步抽象
对象有属性和方法,是更高级别的抽象
封装
模块化设计
分而治之:
通过函数或对象封装将程序划分为模块与模块间的表达
主程序、子程序与子程序之间的关系
一般将子程序看作模块,主程序看作模块与模块间的关系
是一种分而治之、分层抽象、体系化的设计思想
紧耦合:两个部分之间交流很多,无法独立存在
松耦合:两个部分之间交流很少,可以独立存在,有各自清晰简单的接口
模块化设计基本思路和原则:模块内部紧耦合,模块之间松耦合
函数递归:函数定义中调用自身的方式
两个关键特征
链条:计算过程存在递归链条
基例:存在一个或者多个不需要再次递归的基例 递归的最末段
类似数学归纳法,先证明第一个取值命题成立,然后第n个取值命题成立,第n+1取值命题也成立,那么命题成立
递归可以理解为数学归纳法思维在编程中的体现
函数递归的调用
函数+分支语句 :基例和链条分别编写代码
3个小栗子
5.4 模块4:Pyinstaller库的使用
是第三方库 需要安装
pip工具
shell中使用使用 pyinstaller –F <文件名.py>
5.5 实例8:科赫雪花小包裹
分形几何
6. 组合数据类型
6.1 集合类型及操作
集合是多个元素的无序组合,每个元素唯一,不存在相同元素
集合元素不可更改,不能是可变数据类型,比如列表类型就不能作为元素,整数浮点数复数字符串元组类型等都是不可变数据类型
用{}表示,元素间用逗号分隔
建立集合用{}或者set()
例如:B = set(“pypy123”) 结果{‘1’,’2’,’3’,’p’,’y’}
建立空集合必须用set()
6个集合操作符
S | T 并
S – T 差
S & T 交
S ^ T 补
S <= T、S < T 包含与子集关系
S >= T、S > T
增强操作符
S |= T
S –= T
S &= T
S ^= T
10个集合处理方法
S.add(x) 如果x不在S中,将x元素加入S集合
S.discard(x) 移除S中元素x,如果x不在集合S中,不报错
S.remove(x) 移除S中元素x,如果x不在S中,产生KeyError异常
S.clear() 移除S中所有元素
S.pop() 随机返回S的一个元素,更新S,若S为空产生KeyError异常
S.copy() 返回集合S的一个副本
len(S) 返回个数
x in S 判断S中是否有元素x
x not in S 同上相反
set(x) 将其他类型变量x转变为集合类型
集合类型应用场景
包含关系的比较
数据去重
6.2 序列类型及操作
序列是有先后顺序的一组元素
序列是一维元素向量,元素类型可以不同,类似C语言中的一维数组
元素间由序号引导,通过下标访问序列的特定元素
序列是一个基类类型
一般不直接用序列类型而是使用其衍生类型,比如字符串、元组、列表序列处理函数与方法
元组类型
元组是一种序列类型,一旦创建就不能被修改
使用()或者tuple()创建,元素间用逗号分隔
可以使用或不适用小括号,比如函数返回多个返回值就是使用没有括号的元组类型,python内部认为是一个值,是一个元组
元组类型继承了序列的所有通用操作
元组类型因为一旦定义不能修改,所以没有特殊操作
列表类型及操作
列表是序列类型的扩展,十分常用
列表是一种序列类型,创建后可以随意修改,长度无限制,元素类型可不同列表本质是指针,如果通过赋值语句给另外一个变量,那么实际并没有创建一个新列表,可以类似linux的硬链接,[]或者函数list()才是真正创建一个列表,赋值仅仅传递引用一些例子一些例子
序列类型应用场景
包含元组列表
元组用于元素不改变的场景,更多用于固定场景 比如函数返回值
列表则更加灵活,是常用的序列类型
最主要作用:表示一组有序数据并进而操作它们
元素遍历 for item in lt
数据保护 利用元组不可修改的特性
6.3 实例9:基本统计值计算
问题分析:给出一组数据,给出概要理解,比如 求和、平均值、方差、中位数…
总个数:len()
求和:for … in
平均值:上2个除
方差:各数据与平均值的平方的和的平均数
中位数:排序,取中间的或者中间2个数平均数
6.4 字典类型及操作
字典类型的定义
映射 是一种键(索引)和值(数据)的对应
用{}或者dict()创建字典,键值对用:表示 {key:value,key2:value2…}
type()可以检测变量的类型
{}可以用来声明空字典,这就是集合类型中定义空集合不能用{}的原因一些例子
6.5 模块5:jieba库的使用
优秀的中文分词第三方库
由于中文是连续书写的 需要通过特定手段获得单个词语
jieba库提供3种分词模式,最简单只需要掌握一个函数
通过中文词库方式识别确定汉字之间关联概率 概率大的组成词组,形成分词效果
除了分词,用户也可以添加自定义的词组
三种模式
精确模式:把文本精确的切分开,不存在冗余单词 最常用的分词模式
全模式:把文本中所有可能的词语都扫描出来,存在冗余
搜索引擎模式:更加智能,在精确模式的基础上,对长词再次切分,存在冗余,在某些特定场景下使用
6.6 实例10:文本词频统计
问题分析:一篇文章,出现了哪些词?哪些词最多?
中英文各一个程序:分别是哈姆雷特和三国演义
7. 文件和数据格式化
7.1 文件的使用
文件的类型
文本文件、二进制文件 只是展示方式,本质上都是二进制数据
文本文件:由单一特定编码组成的文件,如utf-8编码 由于存在编码,文本文件也被看为一个长字符串
二级制文件:数据间没有统一字符编码,01组成,比如png avi等文件
文件的打开和关闭
打开->操作->关闭 文件存储状态和占用状态转换
文件的打开
<变量名> = open(<文件名>,<打开模式>)
文件句柄
文件路径和名称,使用相对路径或者绝对路径,同一个路径的话就直接文件名,斜杠\是转移字符使用反斜杠/替换,或者\\
打开模式
<变量名>.close 关闭文件
当程序退出的时候,python也会自动关闭文件
文件内容的读取
遍历全文本文件的逐行处理
文件写入
例子:
7.2 实例11:自动轨迹绘制
问题分析:根据脚本来绘制图形 不是写代码而是写数据绘制轨迹
自动化思维
将数据和功能分离开来
数据驱动
接口化设计
可以扩展
扩展接口设计,增加更多控制接口
扩展功能设计,增加弧形等更多功能
扩展应用需求,发展自动轨迹绘制到动画绘制
7.3 一维数据的格式化
一维数据:由对等关系的有序或无序数据构成,采用线性方式组织,对应列表、集合、数组等概念
二维数据:由多个一维数据组成,是一维数据的组合形式
多维数据:是一维或二维数据在新唯独上扩展形成,比如中国大学排行榜加入时间维度
高维数据:仅利用最基本的二元关系展示数据间的复杂结构,比如字典类型中的key-value形式
操作周期
一维数据的表示
如果数据间有序,使用列表类型
如果数据间无序,使用集合类型
一维数据的存储一维数据的处理类似于一个驱动
7.4 二维数据的格式化和处理
二维列表
两层for循环遍历二维列表
csv:comma-separated values 逗号分隔 国际通用 一般.csv为扩展名
每行一个一维数据,无空行
一般的软件都能生成csv格式文件
如果每个元素缺失,逗号要保留
表头可以作为数据存储,也可以令行存储
如果数据中包含逗号,不同的软件有不同的约定,比如转义符或者其他方式
按行存或者按列存都行,一般索引习惯 ls[row][col] 先行后列,按行存
二维数据的处理
读入处理
7.5 模块6:wordcloud库的使用
词云展示的第三方库
wordcloud库把词云当作一个WordCloud对象
wordcloud.WordCloud()代表一个文本对应的词云
可以根据文本中词语出现的频率等参数绘制词云
绘制词云的形状、尺寸、颜色都可以设定
w = wordcloud.WordCloud()
以WordCloud对象为基础
配置参数、加载文本、输出文件
常规方法
w.generate(txt) 向WordCloud对象w中加载文本txt 如:w.generate(“Python and WordCloud”)
w.to_file(filename) 将词云输出为图像文件,.png或.jpg格式 如:w.to_file(“output.png”)
绘制词云的步骤:
setp1:配置对象参数
setp2:加载词云文本
step3:输出词云文件
生成默认400*200的图片
wordcloud干啥了:
a.分隔:以空格为分隔单词
b.统计:单词出现次数并过滤
c.字体:根据统计配置字号
d.布局:颜色环境尺寸
对象参数
width 默认400
height 默认200
min_font_size 最小字号 默认4号
max_font_size 最大字号 根据高度自动调节
font_step 默认1,字体步进间隔
font_path 字体路径,默认None,如:w=wordcloud.WordCloud(font_path=”msyh.ttc”)
max_words 指定词云显示的最大单词数量,默认200 比如词云显示的不那么有力,可以修改这个
stop_words 指定排除单词 如:w=wordcloud.WordCloud(stop_words={“Python”})
background_color 指定背景色 默认黑色
默认显示的矩形效果,使用mask参数可以改变
中文的话需要先用jieba库分词,中文不是空格分隔的
7.6 实例12:政府工作报告词云
常规矩形词云不规则词云
8. 程序设计方法学
8.1 实例13:体育竞技分析
自顶向下(设计) 分而治之
将一个总问题表达为若干个小问题组成的形式
使用相同的方法进一步分解小问题
解决复杂问题的有效设计方法
自底向上(执行) 模块化集成
逐步组建复杂系统的有效测试方法
分单元测试,逐步组装
8.2 Python程序设计思维
计算思维与程序设计
第三种人类思维特征
逻辑思维:以推理和演绎为特征,以数学为代表,A->B,B->C,A->C
实证思维:以实验和验证为特征,以物理为代表,引力波<-实验
计算思维:以设计和构造为特征,计算机为代表,汉诺塔递归
有非常明显的特征:抽象和自动化,抽象问题的计算过程并利用计算自动化求解(并不是抽象因果关系仅仅是抽象过程)
1+2+..+100 高斯 vs 累计
圆周率 高数求和 vs 蒙特卡洛方法
汉诺塔问题 逻辑推理的2的n次方-1 vs 递归
计算思维基于计算机强大的算力和海量的数据
抽象计算过程,关注设计和构造,而非因果
以计算机程序设计为主要实现手段
编程是将计算思维变为现实的手段
计算生态与Python语言
从开源运动说起…
-1983年,Richard Stallman启动GNU项目
-1989年,GNU通用许可协议诞生,自由软件时代到来 大教堂模式
-1991年,Linus Torvalds发布了Linux内核 集市模式(成为主流)
-1998年,网景浏览器开源,产生了Mozilla,开源生态逐步建立
计算生态以开源项目为组织形式,充分利用“共识原则”和“社会他人”组织人员,在竞争发展、相互依存和迅速更迭中完成信息技术的更新换代,形成了技术的自我演进路径。
开源思想深入演化和发展,形成了计算生态
计算生态是没有顶层设计、以功能为单位、具备三个特点:竞争发展、相互依存和迅速更迭
python
-以开源项目为代表的大量第三方库 Python语言提供 > 13万个第三方库 并以两万+每年的速度发展
-库的建设经过野蛮生长和自然选择 同一个功能,Python语言提供2个以上第三方库
-库之间相互关联使用,依存发展 Python库间广泛联系,逐级封装
-社区庞大,新技术更迭迅速 Alpha Go深度学习算法采用Python语言开源
API != 生态
创新:跟随创新、集成创新、原始创新
-计算生态加速科技类应用创新的重要支撑
-发展科技产品商业价值的重要模式
-国家科技体系安全和稳固的基础
刀耕火种 –> 站在巨人的肩膀上
-编程的起点不是算法而是系统
-变成如同搭积木,利用计算生态为主要模式
-编程的目标是快速解决问题
优质的计算生态 python123 由老师、产业人员共同筛选的优质生态https://python123.io/index/monthly_packages/201808
用户体验与软件产品
实现功能 –> 关注体验
用户体验指用户对产品建立的主管感受和认识
关心功能实现,更要关心用户体验,才能做出好产品
编程只是手段,不是目的,程序最终为人类服务
提高用户体验的方法
方法1:进度展示
-如果程序需要计算时间,可能产生等待,请增加进度展示
-如果程序需要若干步骤,需要提示用户,请增加进度展示
-如果程序可能存在大量次数的循环,请增加进度展示
方法2:异常处理
-当获得用户输入时候,对合规性需要检查,需要异常处理
-当读写文件时,对结果进行判断,需要异常处理
-当进行输入输出时,对运算结果进行判断,需要异常处理
其他方法:
-打印输出:特定位置,输出程序运行的过程信息verbose
-日志文件:对程序异常以及用户的使用进行定期记录
-帮助信息:给用户多种方式提供帮助
软件程序 到 软件产品,其核心关键就是用户体验
基本的程序设计模式
IPO
模块化设计
自顶向下设计
配置化设计 (自动轨迹绘制实例)
-引擎+配置:程序执行和配置分离,将可选参数配置化
-将程序开放变为配置文件编写,扩展功能而不修改程序
-关键在于接口设计,清晰明了,灵活扩展,这是一种更高级别的设计思路
应用开发的四个步骤:
1.产品定义 对应用需求充分理解和明确定义
-产品定义,而不仅是功能定义,要考虑商业模式
2.系统架构 以系统方式思考产品的技术实现
-系统架构,关注数据流、模块化、体系架构
3.设计与实现 结合架构完成关键设计及系统实现
-结合可扩展性、灵活性、是否适应未来需求变化等进行设计优化
4.用户体验 从用户角度思考应用效果
-用户至上,体验优先,以用户为中心构造软件产品
8.3 Python第三方库安装
看见更大的Python世界
13万个第三方库 全区社区 https://pypi.org
PYPI
-Python Package Index
-PSF维护的展示全球Python计算生态的主站
-学会检索并利用PyPI,找到合适的第三方开发程序
3种安装方法:
-方法1(主要方法):使用pip命令
-方法2:集成安装方法
-方法3:文件安装方法
pip安装方法(最主要的方法)
pip -h 可以查看帮助
pip install <第三方库名> 安装
pip install –U <第三方库名> 升级
pip uninstall <第三方库名> 卸载
pip download <第三方库名> 下载单并不安装
pip show <第三方库名> 列出某个第三方库的详细信息
pip search 关键词 搜索第三方库
pip list 列出已安装的第三方库
集成安装方法
结合安装工具,批量安装,不过这样的安装工具不多,推荐一个叫anaconda
文件安装方法
为什么有些第三方库用pip可以下载,单无法安装?
-某些第三方库下载后,需要编译再安装
-如果操作系统没有编译环境,则能下载单不能安装
-可以找编译后的版本来安装吗 http://www.lfd.uci.edu/~gohlke/pythonlibs UCI页面 加州大学教授维护的 win系统的直接编译后的版本
pip install 文件
8.4 模块7:os库的使用
os库提供通用的、基本的操作系统交互功能
是python标准库,由几百个函数,包括常用路径操作、进程管理、环境参数等几类
-路径操作:os.path子库,处理文件路径及信息
-进程管理:启动系统中其他程序
-环境参数:获得系统软硬件信息等参数
路径操作
os.path子库以path为入口,用于操作和处理文件路径
import os.path
import os.path as op
os库进程管理
os.system(command) 调用其他程序
os库之环境参数
获取或改变系统环境信息
8.5 实例14:第三方库安装脚本
第三方库自动安装脚本
9 Python计算生态概览
9.1 从数据处理到人工智能
从数据处理到人工智能的完整链条:数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能
Python库之数据分析
Numpy:表达N维数组的最基础库
-Python接口使用,C语言实现,计算速度优异
-Python数据分析及科学计算的基础库,支撑Pandas等
-提供直接的矩阵运算、广播函数、线性代数等功能
Pandas:Python数据分析高层次应用库
-提供了简单易用的数据结构和数据分析工具
-理解数据类型与索引的关系,操作索引即操作数据
-Python库最主要的数据分析功能库,基于Numpy开发
提供两个数据结构:
Series = 索引 + 一维数据
DataFrame = 行列索引 + 二维数据
Scipy:数学、科学和工程计算功能库
-提供了一批数学算法及工程数据运算功能
-类似Matlab,可用于傅里叶变换、信号处理等应用
–Python最主要的科学计算功能库,基于Numpy开发
Python库之数据可视化
Matplotlib:高质量的二维数据可视化功能库,有大量子库
-提供了超过100种数据可视化展示效果
-通过matplotlib.pyplot子库调用各可视化效果
-Python最主要的数据可视化功能库,基于Numpy开发
Seaborn:统计类数据可视化功能库
-提供了一批高层次的统计类数据可视化展示效果
-主要展示数据间分布、分类和线性关系等内容
-基于Matplotlib开发,支持Numpy和Pandas
Mayavi:三维科学计算可视化功能库
-提供了一批简单易用的3D科学计算数据可视化展示效果
-目前是Mayavi2,三维可视化最主要的第三方库
-支持Numpy、TVTK、Traits、Envisage等第三方库
Python库之文本处理
PyPDF2:用来处理pdf文件的工具集
-提供了一批处理PDF文件的计算功能
-支持获取信息、分隔/整合文件、加密解密等
-完全Python语言实现,不需要额外依赖,功能稳定
NLTK:自然语言文本处理第三方库
–提供了一批简单易用的自然语言文本处理功能
-支持语言文本分类、标记、语法句法、语义分析等
-最优秀的Python自然语言处理库
Python-docx:创建或更新word文档的第三方库
-提供创建或更新.doc .docx等文件的计算功能
-增加并配置段落、图片、表格、文字等,功能全面
Python库之机器学习
Scikit-learn:机器学习方法工具集
-提供一批统一化的机器学习方法功能接口
-提供聚类、分类、回归、强化学习等计算功能
-机器学习最基本且最优秀的Python第三方库
TensorFlow:AlphaGo背后的机器学习计算框架
-谷歌公司推动的开源机器学习框架
-将数据流图作为基础,图节点代表运算,边代表张量
-应用机器学习方法的一种方式,支撑谷歌人工智能应用
MXNet:基于神经网络的深度学习计算框架
-提供可扩展的神经网络及深度学习计算功能
-可用于自动驾驶、机器翻译、语音识别等众多领域
-Python最重要的深度学习计算框架
9.2 实例15:霍兰德人格分析雷达图
问题分析:
啥是雷达图
霍兰德认为:人格兴趣和职业之间有内在的对应关系
人格分类:研究型、艺术型、社会型、企业型、传统型、现实型
职业:工程师、实验员、艺术家、推销员、记事员、社会工作者
需求:雷达图方式验证霍兰德人格分析
输入:各职业人群结合兴趣的调研数据
输出:雷达图
展示多维数据以及绘制雷达图的能力目标+沉浸+熟练
-编程的目标感:寻找感兴趣的目标,寻(wa)觅(jue)之
-编程的沉浸感:寻找可实现的方法,思(zuo)考(mo)之
-编程的熟练度:练习、练习、再练习,熟练之
编程不是最主要的,编程的感觉才是最重要的
9.3 从Web解析到网络空间
Python库之网络爬虫
Requests:最友好的网络爬虫库
-提供了简单易用的类HTTP协议网络爬虫功能
-支持连接池、SSL、Cookies、HTTP(S)代理等
-Python最主要的页面级网络爬虫功能库
Scrapy:优秀的网络爬虫框架
-提供了构建网络爬虫系统的框架功能,半成品
-支持批量和定时页面爬取、提供数据处理流程等
-Python最主要且最专业的网络爬虫框架
pyspider:强大的Web页面爬取系统
-提供了完整的网页爬取系统构建功能
-支持数据库后端、消息队列、优先级、分布式架构等
-Python重要的网络爬虫第三方库
Python库之Web信息提取
Beautiful Soup:HTML和XML的解析库
-提供了解析HTML和XML等Web信息的功能
-又名beautifulsoup4或bs4,可以加载多种解析引擎
-常与网络爬虫库搭配使用,如Scrapy、requests等
Re:正则表达式解析和处理功能库
-提供了定义和解析正则表达式的一批通用功能
-可用于各类场景,包括定点的Web信息提取
-Python最主要的标准库,无需安装
Python-Goose:提取文章类型Web页面的功能库
-提供了对Web页面中文章信息/视频等元数据的提取功能
-针对特定类型Web页面,应用覆盖面较广
相对于bs4库,抽象层次更加高,更加方便
Python库之Web网站开发
Django:最流行的Web应用框架
-提供了构建Web系统的基本应用框架
-MTV模式:模型(model)、模式(Template)、视图(Views)
-Python最重要的Web应用框架,略微复杂的应用框架,比较适合专业的网站构建
Pyramid:规模适中的Web应用框架
-提供了简单方便构建Web系统的应用框架
-不大不小,规模适中,适合快速构建并适度扩展类应用
-Python产品级Web应用框架,起步简单可扩展性好
Flask:Web应用开发微框架
-提供了最简单构建Web系统的应用框架
-特点是:简单、规模小、快速
-Django > Pyramid > Flask好
Python库之网络应用开发
WeRoBot:微信公众号开发框架
-提供了解析微信服务器消息及反馈消息的功能
-建立微信机器人的重要手段
aip:百度AI开放平台接口
-提供了访问百度AI服务的Python接口
-语音、人脸、OCR、NLP、知识图谱、图像搜索等领域
-Python百度AI应用的最主要方式
MyQR:二维码生成第三方库
-提供了生成二维码的系列功能
-基本二维码、艺术二维码和动态二维码
9.4 从人机交互到艺术设计
Python库之图形用户界面
PyQT5:QT开放框架的Python接口
-提供了创建QT5程序的Python API接口
-Qt是非常成熟的跨平台桌面应用开发系统,完备GUI
-推荐的Python GUI开发第三方库
wxPython:跨平台GUI开发框架
-提供了专用于Python的跨平台GUI开发框架
-Python最主要的图形用户界面
PyGObject:使用GTK+开发GUI的功能库
-提供了整合GTK+、WebKitGTK+等库的功能
-GTK+:跨平台的一种GUI框架
-实例:Anaconda采用该库构建GUI
Python库之游戏开发
PyGame:简单的游戏开发功能库
-提供了基于SDL的简单游戏开发功能及实现引擎
-理解游戏对外部输入的相应机制及角色构建和交互机制
-Python游戏入门最主要的第三方库
Panda3D:开源、跨平台的3D渲染和游戏开发库
-一个3D游戏引擎,提供Python和C++两种接口,Python接口更加全面也是该库推荐使用的语言
-支持很多先进特性:法线贴图、光泽贴图、卡通渲染等
-由迪士尼和卡内基梅隆大学共同开发
cocos2d:构建2D游戏和图形界面交互应用的框架
-提供了基于OpenGL的游戏开发图形渲染功能
-支持GPU加速,采用树形结构分层管理游戏对象类型
-适用于2D专业级游戏开发
Python库之虚拟现实
VR Zero:在树莓派上开发VR应用的Python库
-提供大量与vr开发相关的功能
-针对树莓派的vr开发库,支持设备小型化,配置简单化
-非常适合初学者实践vr开发及应用
pyovr:Oculus Rift的Python接口
-针对Oculus VR设备的python开发库
-基于成熟的VR设备,提供全套文档,工业级应用设备
-Python+虚拟现实领域探索的一种思路
Vizard:基于Python的通用VR开发引擎
-专业的企业级虚拟现实开发引擎
-提供详细的文档
-支持多种主流的VR硬件设备,具有一定的通用性
Python库之图形艺术
Quads:迭代的艺术
-对图片进行四分迭代,形成像素风
-可以生成动态或者静态图片
-简单易用,具有很高展示度
ascii_art:ASCII艺术库
-将普通图片转为ASCII艺术风格
-输出可以是纯文本或彩色文本
-可采用图片格式输出turtle库
9.5 实例16:玫瑰花绘制
问题分析: