爬虫 数据分析 numpy
2019-08-14
数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律
数据分析三剑客：Numpy,Pandas,Matplotlib
NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。
创建
# 创建ndarry # 创建一维数组 import numpy as np # np.array([1,2,3]) # 创建二维数组 np.array([[1,2,3],[4,5,6]]) np.array([[1,2,3.3],[4,5,6]]) numpy默认ndarray的所有元素的类型是相同的 如果传进来的列表中包含不同的类型，则统一为同一类型，优先级：str>float>int
import matplotlib.pyplot as plt img_arr=plt.imread(‘./cat.jpg‘) plt.imshow(img_arr) plt.imshow(img_arr-100)
使用np的routines函数创建
# np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None) 等差数列 np.linspace(0,100,num=20) # np.arange([start, ]stop, [step, ]dtype=None) np.arange(0,100,step=10) # np.random.randint(low, high=None, size=None, dtype=‘l‘) np.random.seed(10) #随机因子/时间种子 np.random.randint(0,100,size=(4,3))
ndarray的属性
4个必记参数： ndim：维度 shape：形状 （各维度的长度） size：总长度 dtype：元素类型
img_arr.ndim
img_arr.shape
img_arr.size
img_arr.dtype
type(img_arr)
ndarray的基本操作
# 根据索引修改数据 arr[[1,2]] arr[1] arr[[1,2],[1,2]] arr[1,4] 行 列
切片 索引
# 切片 # 行 # arr[0:2] # 列 # arr[:,0:2] #arr[hang,lie] # arr[0:2,0:2] # 数据反转 # 数组按照行反转 # arr[: : -1] # 数组按照列反转 # arr[:,: : -1] # 全部反转 arr[::-1,::-1] # 将图片进行倒置操作 # plt.imshow(img_arr[::-1,::-1]) # 裁剪 # plt.imshow(img_arr[115:340,145:580,:])
变形
使用arr.reshape()函数，注意参数是一个tuple！
# 变形 # 一维数组变多维数组，多维数组变一维数组 arr=np.random.randint(1,100,size=(5,6)) arr # arr.reshape(2,15,1) # arr.reshape(2,-1) # l=arr.reshape(15,-1)
级联:就是对多个numpy数据进行横向或者纵向的拼接
- np.concatenate()
一维，二维，多维数组的级联，实际操作中级联多为二维数组
合并两张照片
np.concatenate((arr,arr),axis=0) #axis=0 列 1行 arr_3 = np.concatenate((img_arr,img_arr,img_arr),axis=1) arr_9 = np.concatenate((arr_3,arr_3,arr_3),axis=0) plt.imshow(arr_9)
ndarray 的聚合操作
求和 np.sum arr.sum(axis=1)
最大最小值：np.max/ np.min
平均值：np.mean()
其他聚合操作
Function Name NaN-safe Version Description np.sum np.nansum Compute sum of elements np.prod np.nanprod Compute product of elements np.mean np.nanmean Compute mean of elements np.std np.nanstd Compute standard deviation np.var np.nanvar Compute variance np.min np.nanmin Find minimum value np.max np.nanmax Find maximum value np.argmin np.nanargmin Find index of minimum value np.argmax np.nanargmax Find index of maximum value np.median np.nanmedian Compute median of elements np.percentile np.nanpercentile Compute rank-based statistics of elements np.any N/A Evaluate whether any elements are true np.all N/A Evaluate whether all elements are true np.power 幂运算
快速排序
np.sort()与ndarray.sort()都可以，但有区别