Python常用模块-20个常用模块总结
时间:2023-08-05 05:07:00
文章目录
- time模块
- datetime模块
- random 模块
- os 模块
- sys 模块
- json 和 pickle 模块
- hashlib和hmac 模块
- logging 模块
- numpy 模块
- pandas 模块
- matplotlib 模块
- re 模块
- typing 模块
- collections 模块
- pathlib 模块
- shutil 模块
- xml 模块
- subprocess 模块
- configparser模块
- Python 常用模块总结
time模块
time模块中的时间表:
a、timestamp时间戳是指从1970年1月1日00:00:00开始按秒计算的偏移量
b、struct_time时间元组,共9个元素组。
c、format time 格式化时间,格式化结构使时间更具可读性。包括自定义格式和固定格式。
1.时间格式转换图:
2、主要time生成方法和time格式转换方法实例:
#! /usr/bin/env python # -*- coding:utf-8 -*- # __author__ = "TKQ" import time # 生成timestamp time.time() # 1477471508.05#struct_time to timestamptime.mktime(time.localtime())
struct_time元素结构
属性 值 tm_year(年) 比如2011 tm_mon(月) 1 - 12 tm_mday(日) 1 - 31 tm_hour(时) 0 - 23 tm_min(分) 0 - 59 tm_sec(秒) 0 - 61 tm_wday(weekday) 0 - 6(0表示周日) tm_yday(一年中的第几天) 1 - 366 tm_isdst(是不是夏令) 默认为-1
format time结构化表示
格式 | 含义 |
---|---|
格式 | 含义 |
%a | 本地(locale)简化星期名称 |
%A | 本地完整星期名称 |
%b | 本地简化月名 |
%B | 本地完整月名 |
%c | 本地相应的日期和时间表示 |
%d | 一个月中的第几天(01 - 31) |
%H | 一天中的几个小时(24小时制,00 - 23) |
%I | 几个小时(12小时制,01 - 12) |
%j | 一年中的第几天(001 - 366) |
%m | 月份(01 - 12) |
%M | 分钟数(00 - 59) |
%p | 本地am或者pm的相应符 |
%S | 秒(01 - 61) |
%U | 一年中的周数。 - 53星期天是一个星期的开始。)第一个星期天之前的所有天数都放在第0周。 |
%w | 一周中的第几天(0 - 六、0是星期天) |
%W | 和%U基本相同,不同的是%W星期一为一个星期的开始。 |
%x | 本地相应日期 |
%X | 本地相应时间 |
%y | 去掉世纪的年份(00 - 99) |
%Y | 完整的年份 |
%Z | 时区的名字(如果不存在为空字符) |
%% | ‘%’字符 |
常见结构化时间组合:
print time.strftime("%Y-%m-%d %X")
#2016-10-26 20:50:13
3、time加减
#timestamp加减单位以秒为单位
import time
t1 = time.time()
t2=t1+10
print time.ctime(t1)#Wed Oct 26 21:15:30 2016
print time.ctime(t2)#Wed Oct 26 21:15:40 2016
datetime模块
datatime模块重新封装了time模块,提供更多接口,提供的类有:date,time,datetime,timedelta,tzinfo。
1、date类
datetime.date(year, month, day)
静态方法和字段
date.max、date.min:date对象所能表示的最大、最小日期;
date.resolution:date对象表示日期的最小单位。这里是天。
date.today():返回一个表示当前本地日期的date对象;
date.fromtimestamp(timestamp):根据给定的时间戮,返回一个date对象;
output
from datetime import *
import time
print 'date.max:', date.max
print 'date.min:', date.min
print 'date.today():', date.today()
print 'date.fromtimestamp():', date.fromtimestamp(time.time())
#Output======================
# date.max: 9999-12-31
# date.min: 0001-01-01
# date.today(): 2016-10-26
# date.fromtimestamp(): 2016-10-26
方法和属性
d1 = date(2011,06,03)#date对象
d1.year、date.month、date.day:年、月、日;
d1.replace(year, month, day):生成一个新的日期对象,用参数指定的年,月,日代替原有对象中的属性。(原有对象仍保持不变)
d1.timetuple():返回日期对应的time.struct_time对象;
d1.weekday():返回weekday,如果是星期一,返回0;如果是星期2,返回1,以此类推;
d1.isoweekday():返回weekday,如果是星期一,返回1;如果是星期2,返回2,以此类推;
d1.isocalendar():返回格式如(year,month,day)的元组;
d1.isoformat():返回格式如'YYYY-MM-DD’的字符串;
d1.strftime(fmt):和time模块format相同。
output
from datetime import *
now = date(2016, 10, 26)
tomorrow = now.replace(day = 27)
print 'now:', now, ', tomorrow:', tomorrow
print 'timetuple():', now.timetuple()
print 'weekday():', now.weekday()
print 'isoweekday():', now.isoweekday()
print 'isocalendar():', now.isocalendar()
print 'isoformat():', now.isoformat()
print 'strftime():', now.strftime("%Y-%m-%d")
#Output========================
# now: 2016-10-26 , tomorrow: 2016-10-27
# timetuple(): time.struct_time(tm_year=2016, tm_mon=10, tm_mday=26, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=2, tm_yday=300, tm_isdst=-1)
# weekday(): 2
# isoweekday(): 3
# isocalendar(): (2016, 43, 3)
# isoformat(): 2016-10-26
# strftime(): 2016-10-26
2、time类
datetime.time(hour[ , minute[ , second[ , microsecond[ , tzinfo] ] ] ] )
静态方法和字段
time.min、time.max:time类所能表示的最小、最大时间。其中,time.min = time(0, 0, 0, 0), time.max = time(23, 59, 59, 999999);
time.resolution:时间的最小单位,这里是1微秒;
方法和属性
t1 = datetime.time(10,23,15)#time对象t1.hour、t1.minute、t1.second、t1.microsecond:时、分、秒、微秒;
t1.tzinfo:时区信息;
t1.replace([ hour[ , minute[ , second[ , microsecond[ , tzinfo] ] ] ] ] ):创建一个新的时间对象,用参数指定的时、分、秒、微秒代替原有对象中的属性(原有对象仍保持不变);
t1.isoformat():返回型如"HH:MM:SS"格式的字符串表示;
t1.strftime(fmt):同time模块中的format;
output
from datetime import *
tm = time(23, 46, 10)
print 'tm:', tm
print 'hour: %d, minute: %d, second: %d, microsecond: %d' % (tm.hour, tm.minute, tm.second, tm.microsecond)
tm1 = tm.replace(hour=20)
print 'tm1:', tm1
print 'isoformat():', tm.isoformat()
print 'strftime()', tm.strftime("%X")
#Output==============================================
# tm: 23:46:10
# hour: 23, minute: 46, second: 10, microsecond: 0
# tm1: 20:46:10
# isoformat(): 23:46:10
# strftime() 23:46:10
3、datetime类
datetime相当于date和time结合起来。datetime.datetime (year, month, day[ , hour[ , minute[ , second[ , microsecond[ , tzinfo] ] ] ] ] )
静态方法和字段
datetime.today():返回一个表示当前本地时间的datetime对象;
datetime.now([tz]):返回一个表示当前本地时间的datetime对象,如果提供了参数tz,则获取tz参数所指时区的本地时间;
datetime.utcnow():返回一个当前utc时间的datetime对象;#格林威治时间
datetime.fromtimestamp(timestamp[, tz]):根据时间戮创建一个datetime对象,参数tz指定时区信息;
datetime.utcfromtimestamp(timestamp):根据时间戮创建一个datetime对象;
datetime.combine(date, time):根据date和time,创建一个datetime对象;
datetime.strptime(date_string, format):将格式字符串转换为datetime对象;
output
from datetime import *
import time
print 'datetime.max:', datetime.max
print 'datetime.min:', datetime.min
print 'datetime.resolution:', datetime.resolution
print 'today():', datetime.today()
print 'now():', datetime.now()
print 'utcnow():', datetime.utcnow()
print 'fromtimestamp(tmstmp):', datetime.fromtimestamp(time.time())
print 'utcfromtimestamp(tmstmp):', datetime.utcfromtimestamp(time.time())
#output======================
# datetime.max: 9999-12-31 23:59:59.999999
# datetime.min: 0001-01-01 00:00:00
# datetime.resolution: 0:00:00.000001
# today(): 2016-10-26 23:12:51.307000
# now(): 2016-10-26 23:12:51.307000
# utcnow(): 2016-10-26 15:12:51.307000
# fromtimestamp(tmstmp): 2016-10-26 23:12:51.307000
# utcfromtimestamp(tmstmp): 2016-10-26 15:12:51.307000
方法和属性
dt=datetime.now()#datetime对象
dt.year、month、day、hour、minute、second、microsecond、tzinfo:
dt.date():获取date对象;
dt.time():获取time对象;
dt. replace ([ year[ , month[ , day[ , hour[ , minute[ , second[ , microsecond[ , tzinfo] ] ] ] ] ] ] ]):
dt. timetuple ()
dt. utctimetuple ()
dt. toordinal ()
dt. weekday ()
dt. isocalendar ()
dt. isoformat ([ sep] )
dt. ctime ():返回一个日期时间的C格式字符串,等效于time.ctime(time.mktime(dt.timetuple()));
dt. strftime (format)
4.timedelta类,时间加减
使用timedelta可以很方便的在日期上做天days,小时hour,分钟,秒,毫秒,微妙的时间计算,如果要计算月份则需要另外的办法。
#coding:utf-8
from datetime import *
dt = datetime.now()
#日期减一天
dt1 = dt + timedelta(days=-1)#昨天
dt2 = dt - timedelta(days=1)#昨天
dt3 = dt + timedelta(days=1)#明天
delta_obj = dt3-dt
print type(delta_obj),delta_obj# 1 day, 0:00:00
print delta_obj.days ,delta_obj.total_seconds()#1 86400.0
** 5、tzinfo时区类**
#! /usr/bin/python
# coding=utf-8
from datetime import datetime, tzinfo,timedelta
""" tzinfo是关于时区信息的类 tzinfo是一个抽象类,所以不能直接被实例化 """
class UTC(tzinfo):
"""UTC"""
def __init__(self,offset = 0):
self._offset = offset
def utcoffset(self, dt):
return timedelta(hours=self._offset)
def tzname(self, dt):
return "UTC +%s" % self._offset
def dst(self, dt):
return timedelta(hours=self._offset)
#北京时间
beijing = datetime(2011,11,11,0,0,0,tzinfo = UTC(8))
print "beijing time:",beijing
#曼谷时间
bangkok = datetime(2011,11,11,0,0,0,tzinfo = UTC(7))
print "bangkok time",bangkok
#北京时间转成曼谷时间
print "beijing-time to bangkok-time:",beijing.astimezone(UTC(7))
#计算时间差时也会考虑时区的问题
timespan = beijing - bangkok
print "时差:",timespan
#Output==================
# beijing time: 2011-11-11 00:00:00+08:00
# bangkok time 2011-11-11 00:00:00+07:00
# beijing-time to bangkok-time: 2011-11-10 23:00:00+07:00
# 时差: -1 day, 23:00:00
random 模块
import random
# 大于0且小于1之间的小数
print(random.random())
0.42866657593385415
# 大于等于1且小于等于3之间的整数
print(random.randint(1, 3))
3
# 大于等于1且小于3之间的整数
print(random.randrange(1, 3))
2
# 大于1小于3的小数,如1.927109612082716
print(random.uniform(1, 3))
2.1789596280319605
# 列表内的任意一个元素,即1或者‘23’或者[4,5]
print(random.choice([1, '23', [4, 5]]))
[4, 5]
# random.sample([], n),列表元素任意n个元素的组合,示例n=2
print(random.sample([1, '23', [4, 5]], 2))
['23', 1]
lis = [1, 3, 5, 7, 9]
# 打乱l的顺序,相当于"洗牌"
random.shuffle(lis)
print(lis)
[9, 1, 5, 7, 3]
os 模块
os 模块负责程序与操作系统的交互,提供了访问操作系统底层的接口,多用于文件处理。
os.getcwd()
获取当前工作目录,即当前 python 脚本工作的目录路径os.chdir(“dirname”)
改变当前脚本工作目录;相当于 shell 下 cdos.curdir
返回当前目录: (‘.’)os.pardir
获取当前目录的父目录字符串名:(‘…’)os.makedirs(‘dirname1/dirname2’)
可生成多层递归目录os.removedirs(‘dirname1’)
若目录为空,则删除,并递归到上一级目录,如若也为空,则删除,依此类推os.mkdir(‘dirname’)
生成单级目录;相当于 shell 中 mkdir dirnameos.rmdir(‘dirname’)
删除单级空目录,若目录不为空则无法删除,报错;相当于 shell 中 rmdir dirnameos.listdir(‘dirname’)
列出指定目录下的所有文件和子目录,包括隐藏文件,并以列表方式打印os.remove()
删除一个文件os.rename(“oldname”,”newname”)
重命名文件/目录os.stat(‘path/filename’)
获取文件/目录信息os.sep
输出操作系统特定的路径分隔符,win 下为”",Linux 下为”/“os.linesep
输出当前平台使用的行终止符,win 下为”\r\n”,Linux 下为”\n”os.pathsep
输出用于分割文件路径的字符串 win 下为;,Linux 下为:os.name 输出字符串指示当前使用平台。win->’nt’
; Linux->’posix’os.system(“bash command”)
运行 shell 命令,直接显示os.environ
获取系统环境变量os.path.abspath(path)
返回 path 规范化的绝对路径os.path.split(path)
将 path 分割成目录和文件名二元组返回os.path.dirname(path)
返回 path 的目录。其实就是 os.path.split(path)的第一个元素os.path.basename(path)
返回 path 最后的文件名。如何 path 以/或\结尾,那么就会返回空值。即-os.path.split(path)的第二个元素
os.path.exists(path)
如果 path 存在,返回 True;如果 path 不存在,返回 Falseos.path.isabs(path)
如果 path 是绝对路径,返回 Trueos.path.isfile(path)
如果 path 是一个存在的文件,返回 True。否则返回 Falseos.path.isdir(path)
如果 path 是一个存在的目录,则返回 True。否则返回 Falseos.path.join(path1[, path2[, …]])
将多个路径组合后返回,第一个绝对路径之前的参数将被忽略os.path.getatime(path)
返回 path 所指向的文件或者目录的最后存取时间os.path.getmtime(path)
返回 path 所指向的文件或者目录的最后修改时间os.path.getsize(path)
返回 path 的大小
在Linux和Mac平台上,该函数会原样返回path,在windows平台上会将路径中所有字符转换为小写,并将所有斜杠转换为饭斜杠。
>>> os.path.normcase('c:/windows\\system32\\')
'c:\\windows\\system32\\'
规范化路径,如..和/
>>> os.path.normpath('c://windows\\System32\\../Temp/')
'c:\\windows\\Temp'
>>> a='/Users/jieli/test1/\\\a1/\\\\aa.py/../..'
>>> print(os.path.normpath(a))
/Users/jieli/test1
os路径处理
#方式一:推荐使用
import os
#具体应用
import os,sys
possible_topdir = os.path.normpath(os.path.join(
os.path.abspath(__file__),
os.pardir, #上一级
os.pardir,
os.pardir
))
sys.path.insert(0,possible_topdir)
#方式二:不推荐使用
os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
sys 模块
sys 模块负责程序与 python 解释器的交互,提供了一系列的函数和变量,用于操控 python 的运行时环境。
sys.argv
命令行参数 List,第一个元素是程序本身路径sys.modules.keys()
返回所有已经导入的模块列表sys.exc_info()
获取当前正在处理的异常类,exc_type、exc_value、exc_traceback 当前处理的异常详细信息sys.exit(n)
退出程序,正常退出时 exit(0)sys.hexversion
获取 Python 解释程序的版本值,16 进制格式如:0x020403F0sys.version
获取 Python 解释程序的版本信息sys.maxint
最大的 Int 值sys.maxunicode
最大的 Unicode 值sys.modules
返回系统导入的模块字段,key 是模块名,value 是模块sys.path
返回模块的搜索路径,初始化时使用 PYTHONPATH 环境变量的值sys.platform
返回操作系统平台名称sys.stdout
标准输出sys.stdin
标准输入sys.stderr
错误输出sys.exc_clear()
用来清除当前线程所出现的当前的或最近的错误信息sys.exec_prefix
返回平台独立的 python 文件安装的位置sys.byteorder
本地字节规则的指示器,big-endian 平台的值是’big’,little-endian 平台的值是’little’sys.copyright
记录 python 版权相关的东西sys.api_version
解释器的 C 的 API 版本
json 和 pickle 模块
序列化
把对象(变量)从内存中变成可存储或传输的过程称之为序列化,在 Python 中叫 pickling,在其他语言中也被称之为 serialization,marshalling,flattening。
序列化的优点:
- 持久保存状态:内存是无法永久保存数据的,当程序运行了一段时间,我们断电或者重启程序,内存中关于这个程序的之前一段时间的数据(有结构)都被清空了。但是在断电或重启程序之前将程序当前内存中所有的数据都保存下来(保存到文件中),以便于下次程序执行能够从文件中载入之前的数据,然后继续执行,这就是序列化。
- 跨平台数据交互:序列化时不仅可以把序列化后的内容写入磁盘,还可以通过网络传输到别的机器上,如果收发的双方约定好实用一种序列化的格式,那么便打破了平台/语言差异化带来的限制,实现了跨平台数据交互。
json
Json 序列化并不是 python 独有的,json 序列化在 java 等语言中也会涉及到,因此使用 json 序列化能够达到跨平台传输数据的目的。
json 数据类型和 python 数据类型对应关系表
Json 类型 | Python 类型 |
---|---|
{} | dict |
[] | list |
“string” | str |
520.13 | int 或 float |
true/false | True/False |
null | None |
json 模块序列化和反序列化的一个过程如下图所示
import json
struct_data = {
'name': 'json', 'age': 23, 'sex': 'male'}
print(struct_data, type(struct_data))
{
'name': 'json', 'age': 23, 'sex': 'male'} <class 'dict'>
data = json.dumps(struct_data)
print(data, type(data))
{
"name": "json", "age": 23, "sex": "male"} <class 'str'>
# 注意:无论数据是怎样创建的,只要满足json格式(如果是字典,则字典内元素都是双引号),就可以json.loads出来,不一定非要dumps的数据才能loads
data = json.loads(data)
print(data, type(data))
{
'name': 'json', 'age': 23, 'sex': 'male'} <class 'dict'>
# 序列化
with open('Json序列化对象.json', 'w') as fw:
json.dump(struct_data, fw)
# 反序列化
with open('Json序列化对象.json') as fr:
data = json.load(fr)
print(data)
{
'name': 'json', 'age': 23, 'sex': 'male'}
pickle
Pickle 序列化和所有其他编程语言特有的序列化问题一样,它只能用于 Python,并且可能不同版本的 Python 彼此都不兼容,因此,只能用 Pickle 保存那些不重要的数据,即不能成功地反序列化也没关系。但是 pickle 的好处是可以存储 Python 中的所有的数据类型,包括对象,而 json 不可以。
pickle 模块序列化和反序列化的过程如下图所示
import pickle
struct_data = {
'name': 'json', 'age': 23, 'sex': 'male'}
print(struct_data, type(struct_data))
{