1. Tab：补全命令
2. :(冒号)：用做多下标援引时，表示对应维度上的全部元素。
3. {}：元胞数组标记符，也就是广义矩阵，可以存放任何数据类型，每个元素可以有不同的尺寸，每个元素的内容也可以完全不同。这些元素叫做元胞(cell)。
4. table也是一种数据类型，展示数据和操作数据方面比元胞数组更有优势。

%1.从excel读取数据
xlsread('excel所在位置',3,'B1:C5')
%3代表sheet3；B1:C5代表读入数据范围
%写入
xlsread('excel所在位置',a,3,'B1:C5')
%a代表待写入数据；3代表sheet3；B1:C5代表具体位置


%2.从TXT读取数据
load('***.txt')
%保存
save c:\***.txt a -ascii;
%a是变量 以ASCII码存放


%3.如果TXT文件存储了不同类型数据，分类读取就需要textread
[name,type,x,y,answer]=textread('**.txt','format',N,'headerlines',M)
%format 代表格式；N表示读取的次数，每次读一行；headerlines表示从M+1行开始读取。


%4.将信息写入TXT，可以控制写入精度
file=fopen('**.txt','w')
fprintf(file,'%6.2f',3.14)%6.2f表示输出宽度为6，精确到小数点2位


%5.读取图片
A=imread(filename)
%A存放像素矩阵


%6.读入并将图像拼接。此程序需要一定的算法提高拼接正确率
%% 读取图片
%链接：https://pan.baidu.com/s/1Ow6L7a-ArvFllaK4M6j4tw 
%提取码：sqyx
%链接：https://pan.baidu.com/s/1z0NPoyB96CT4FEQUJsZCfg 
%提取码：u3df
% 《MATLAB数学建模方法与实践》(《MATLAB在数学建模中的应用》升级版)，北航出版社，卓金武、王鸿钧编著. 
clc, clear, close all
a1=imread('000.bmp');
[m,n]=size(a1);
%% 批量读取图片
dirname = 'ImageChips';
files = dir(fullfile(dirname, '*.bmp'));
a=zeros(m,n,19);
pic=[];
for ii = 1:length(files)
  filename = fullfile(dirname, files(ii).name);
  a(:,:,ii)=imread(filename);
  pic=[pic,a(:,:,ii)];
end
double(pic);
figure
imshow(pic,[])


%7.读取视频
%% 读取视频数据
% 《MATLAB数学建模方法与实践》(《MATLAB在数学建模中的应用》升级版)，北航出版社，卓金武、王鸿钧编著. 
videoFReader = vision.VideoFileReader('vippedtracking.mp4');%写上自己视频的名字

% 播放视频文件
videoPlayer = vision.VideoPlayer;
while ~isDone(videoFReader)
  videoFrame = step(videoFReader);
  step(videoPlayer, videoFrame);
end
release(videoPlayer);

%% 设置播放方式
% 重置播放器
reset(videoFReader)
% 增加播放器的尺寸
r = groot;
scrPos = r.ScreenSize;
%  Size/position is always a 4-element vector: [x0 y0 dx dy]
dx = scrPos(3); dy = scrPos(4);
videoPlayer = vision.VideoPlayer('Position',[dx/8, dy/8, dx*(3/4), dy*(3/4)]);
while ~isDone(videoFReader)
  videoFrame = step(videoFReader);
  step(videoPlayer, videoFrame);
end
release(videoPlayer);
reset(videoFReader)

%% 获取视频中的图像
videoFrame = step(videoFReader);
n = 0;
while n~=15
  videoFrame = step(videoFReader);
  n = n+1;
end
figure, imshow(videoFrame)
release(videoPlayer);
release(videoFReader)

1. 缺失值处理

1.2删除法：删除小部分
1.2插补法：

a. 均值插补：定距用平均值、非定距用众数。

b. 回归插补。

c.极大似然估计(ML)：观测数据的边际分布对未知参数进行极 大似然估计。也可以通过期望最大化来参数估计。有效样本的数量足够保证ML估计值是渐进无偏的并服从正态分布。

2. 噪音过滤

noise是数据随机误差，正常的，但会影响变量真值反映。

方法有：

a. 回归法：前提是要有线性趋势。

回归法是用函数拟合数据来光滑数据，线性回归得到两个属性的最佳直线，使得通过一个预测另一个。多元线性回归的属性多于两个。通过回归后的函数值代替原始数据，避免噪声感染。

b.均值平滑法：前提是具有序列特征的变量。

用临近的若干数据均值替换原来数据。

c. 离散点分析：通过聚类的方法检测离散点，删除它。

d.小波过滤法：本质是一个函数逼近问题。

即如何在小波母函数伸缩和平移所展成的函数空间中，根据提出的衡量准则，对原信号的最佳逼近，完成原信号和噪声信号的区分。也就是从实际信号空间到小波函数空间的最佳映射，从而得到原信号的最佳恢复。

3. 数据集成

将分散的数据源中的数据，集成到一个统一的数据集合。(针对数学建模。就是获取所需要的数据)

4. 数据归约

属性选择：删除不相关的属性：通过数据相关性分析、数据统计分析、数据可视化、主成分分析。

样本选择。

5. 数据变换

• 标准化：转化为无量纲的纯数值，便于比较和加权。

0-1标准化，也叫离差标准化，对原始数据线性变换，使其落入[0,1]区间
$$x^{\ast }=\frac{-x_{min}}{x_{max}-x_{min}}$$
这种方法的缺陷是有数据新加入时，导致xmax,xmin需要重新定义。

Z标准化，标准差标准化，处理的数据符合标准正态分布
$$x^{\ast }=\frac{x-\mu }{\sigma }$$
μ为所有样本的均值，σ为所有样本标准差。

• 离散化：消除连续观察点之间的差异

文档：离散化.note
链接：http://note.youdao.com/noteshare?id=a704d2330cc3edf3d39000c6675970bb&sub=A74F96CF9001453EBE68FD27B2E82797

• 语义转换：将{非常好,好,一般,差,非常差}–>{1,2,3,4,5}

了解数据的基本特征。从样本推断总体，推断总体的数据特征。

统计的总体:人们研究对象的全体。

总体中的一个基本单位称为个体，个体的特征用变量x表示。

从总体中随机产生若干个体的集合称为样本，记为{x1,x2,…,xn}，n为样本容量。

假设一个容量为n的样本，记为x=(x1,x2…,xn),对它加工后，提出有用的信息。统计量是加工出来反映样本数量特征的函数，不包含任何未知量。

常见的统计量

1. 表示位置：算法平均值和中位数

平均值定义：
$$\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
中位数是将数据从小到大排序后位于中间位置的数。

mean(x);%x的均值
median(x);%返回中位数

2. 表示数据散度：标准差、方差、极差

标准差定义：
$$s=[\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x}{)}^2{]}^{\frac{1}{2}}$$
它是各个数据与均值偏离程度的度量，这种偏移可称为变异。

被除以n-1是对无偏估计的要求。

若需要被n除，可用matlab中std(x,1)和var(x,1)。

方差：标准差的平方s^2。

极差x=(x1,x2…,xn)的最大值与最小值之差。

std(x)%标准差
var(x)%方差
range(x)%极差

3. 表示分布形态的统计量：偏度、峰度

偏度反映分布的对称性，v1>0称右偏性，位于均值右边的数据比左边的数据多；v1<0相反。v1=0认为分布对称。

峰度是衡量偏离正态分布的尺度之一，正态分布的峰度为3，若v2比3大得多，表示分布有沉重的尾巴，说明样本中有较多远离均值的数据。

skewness(x)%返回x的偏度
kurtosis(x)%峰度

以上matlab计算统计量命令中，若x为矩阵，则作用于x的列返回一个行向量。

随机变量的特性完全由它的概率分布函数或概率密度函数来描述。F(x)=P{X≤x},分布函数定义为X≤x的概率。若X是连续型随机变量，则p(x)与F(x)关系为
$$F(x)={\int }_{-\infty }^{x}p(x)dx$$
分位数定义为：对于0<α<1，使某分布函数F(x)=α的x称为这个分布的α分位数，记做x_α。

直方图是频数分布图。频数/样本容量n=频率。当n->∞，频率是概率的近似，因此直方图可看做密度函数图形的离散化近似，

数据分布形态、中心分布、关联情况。

%链接：https://pan.baidu.com/s/1mvusLgomW1i6bUoS7z3DKA 
%提取码：pdws
% 数据可视化——基本绘图
% 《MATLAB数学建模方法与实践》(《MATLAB在数学建模中的应用》升级版)，北航出版社，卓金武、王鸿钧编著. 
% 读取数据
clc, clear al, close all
X=xlsread('dataTableA2.xlsx');
% 绘制变量dv1的基本分布
N=size(X,1);
id=1:N;
figure
plot( id', X(:,2),'LineWidth',1)
set(gca,'linewidth',2);
xlabel('编号','fontsize',12);
ylabel('dv1', 'fontsize',12);
title('变量dv1分布图','fontsize',12);
% 同时绘制变量dv1-dv4的柱状分布图
figure
subplot(2,2,1);
hist(X(:,2));
title('dv1柱状分布图','fontsize',12)
subplot(2,2,2);
hist(X(:,3));
title('dv2柱状分布图','fontsize',12)
subplot(2,2,3);
hist(X(:,4));
title('dv3柱状分布图','fontsize',12)
subplot(2,2,4);
hist(X(:,5));
title('dv4柱状分布图','fontsize',12)

%统计量绘图
% 数据可视化——数据分布形状图
% 《MATLAB数学建模方法与实践》(《MATLAB在数学建模中的应用》升级版)，北航出版社，卓金武、王鸿钧编著. 
% 读取数据
clc, clear al, close all
X=xlsread('dataTableA2.xlsx');
dv1=X(:,2);

% 绘制变量dv1的柱状分布图
h = -5:0.5:5;
n = hist(dv1,h);
figure
bar(h, n)

% 计算常用的形状度量指标
mn = mean(dv1); % 均值
sdev = std(dv1); % 标准差
mdsprd = iqr(dv1); % 四分位数
mnad = mad(dv1); % 中位数
rng = range(dv1); % 极差

% 标识度量数值
x = round(quantile(dv1,[0.25,0.5,0.75]));
y = (n(h==x(1)) + n(h==x(3)))/2;
line(x,[y,y,y],'marker','x','color','r')

x = round(mn + sdev*[-1,0,1]);
y = (n(h==x(1)) + n(h==x(3)))/2;
line(x,[y,y,y],'marker','o','color',[0 0.5 0])

x = round(mn + mnad*[-1,0,1]);
y = (n(h==x(1)) + n(h==x(3)))/2;
line(x,[y,y,y],'marker','*','color',[0.75 0 0.75])

x = round([min(dv1),max(dv1)]);
line(x,[1,1],'marker','.','color',[0 0.75 0.75])

legend('Data','Midspread','Std Dev','Mean Abs Dev','Range')

%数据关联可视化
% 数据可视化——变量想相关性
% 《MATLAB数学建模方法与实践》(《MATLAB在数学建模中的应用》升级版)，北航出版社，卓金武、王鸿钧编著. 
% 读取数据
clc, clear al, close all
X=xlsread('dataTableA2.xlsx');
Vars = X(:,7:12);
%  绘制变量间相关性关联图
figure
plotmatrix(Vars)
%  绘制变量间相关性强度图
covmat = corrcoef(Vars);
figure
imagesc(covmat);
grid;
colorbar;
%figure1绘制的变量间相关性关联图，可以看出任意两个变量的数据关联趋向
%figure2是变量间相关性强度图，用于筛选变量

%数据分组可视化
%箱体图按照不同的分位数将数据进行分组
% 数据可视化——数据分组
% 《MATLAB数学建模方法与实践》(《MATLAB在数学建模中的应用》升级版)，北航出版社，卓金武、王鸿钧编著. 
% 读取数据
clc, clear al, close all
X=xlsread('dataTableA2.xlsx');
dv1=X(:,2);
eva=X(:,12);
% Boxplot
figure
boxplot(X(:,2:12))
figure
boxplot(dv1, eva)
figure
boxplot(X(:,5))

文档：箱体图含义.note
链接：http://note.youdao.com/noteshare?id=0728298a7a1f716377feb14c32e13c2c&sub=96220FAE8BBE47E1A111648CC26CAD0F

使用PCA分析案例中的影响因素

文档：PCA.note
链接：http://note.youdao.com/noteshare?id=c29d8e16615ccdd07ad20f865207a6f1&sub=B5D76F7ACA004ACDA5A9BAA3585776BD

PCA应用：企业综合实力排序

%链接：https://pan.baidu.com/s/198GcoR4dNJUp3vb9RRHHsA 
%提取码：2se9 
%% PCA数据降维实例
% 《MATLAB数学建模方法与实践》(《MATLAB在数学建模中的应用》升级版)，北航出版社，卓金武、王鸿钧编著. 
%% 读取数据
A=xlsread('Coporation_evaluation.xlsx', 'B2:I16');

% Transfer orginal data to standard data
a=size(A,1);   % Get the row number of A
b=size(A,2);   % Get the column number of A
for i=1:b
    SA(:,i)=(A(:,i)-mean(A(:,i)))/std(A(:,i));  % Matrix normalization
end

% Calculate correlation matrix of A.
CM=corrcoef(SA);

% Calculate eigenvectors and eigenvalues of correlation matrix.
[V, D]=eig(CM);

% Get the eigenvalue sequence according to descending and the corrosponding
% attribution rates and accumulation rates.
for j=1:b
    DS(j,1)=D(b+1-j, b+1-j);
end
for i=1:b
    DS(i,2)=DS(i,1)/sum(DS(:,1));
    DS(i,3)=sum(DS(1:i,1))/sum(DS(:,1));
end

% Calculate the numvber of principal components.
T=0.9;  % set the threshold value for evaluating information preservation level.
for K=1:b
    if DS(K,3)>=T
        Com_num=K;
        break;
    end
end

% Get the eigenvectors of the Com_num principal components
for j=1:Com_num
    PV(:,j)=V(:,b+1-j);
end

% Calculate the new socres of the orginal items
new_score=SA*PV;

for i=1:a
    total_score(i,2)=sum(new_score(i,:));
    total_score(i,1)=i;
end
new_score_s=sortrows(total_score,-2);

%% 显示结果
disp('特征值及贡献率：')
DS
disp('阀值T对应的主成分数与特征向量：')
Com_num
PV
disp('主成分分数：')
new_score
disp('主成分分数排序：')
new_score_s

%分析：第9综合实力最强 12综合实力最弱。
%各成分的权重信息：贡献率
%原始变量的关联关系：特征向量

对较多变量进行筛选

文档：相关系数.note
链接：http://note.youdao.com/noteshare?id=85b8dfa19eaef3adf70d622bae5f8993&sub=8B85324A4D5D4EE2A2E9F4C3EFC3B9AE

使用回归时，首先判断自变量个数，超过两个用多元回归。判断线性还是非线性，对于多元回归，保持其它变量不变，将多元转化为一元去判断。

根据回归方法因变量的个数和回归函数的类型(线性回归、非线性回归)，可将回归方法分为以下。

%% 一元线性回归实例
% 《MATLAB数学建模方法与实践》(《MATLAB在数学建模中的应用》升级版)，北航出版社，卓金武、王鸿钧编著. 
%% 输入数据
clc, clear all, close all
x=[23.80,27.60,31.60,32.40,33.70,34.90,43.20,52.80,63.80,73.40];
y=[41.4,51.8,61.70,67.90,68.70,77.50,95.90,137.40,155.0,175.0];	
%% 采用最小二乘回归
% 绘制散点图，判断是否具有线性关系
figure
plot(x,y,'r*')                         %作散点图
xlabel('x（职工工资总额）','fontsize', 12)           %横坐标名
ylabel('y（商品零售总额）', 'fontsize',12)           %纵坐标名
set(gca,'linewidth',2);
% 采用最小二乘拟合
Lxx=sum((x-mean(x)).^2);
Lxy=sum((x-mean(x)).*(y-mean(y)));
b1=Lxy/Lxx;
b0=mean(y)-b1*mean(x);
y1=b1*x+b0;
hold on
plot(x, y1,'linewidth',2);

%% 采用LinearModel.fit函数进行回归
m2 = LinearModel.fit(x,y)

%% 采用regress函数进行回归
Y=y';
X=[ones(size(x,2),1),x'];
[b, bint, r, rint, s] = regress(Y, X)
%注意Y为列向量，因变量   X为自变量组成的矩阵
%regress后缺省alpha(显著性水平)时默认是0.05
%b为β1，β2
%bint为b的置信区间
%r为残差
%rint为残差的置信区间


%s包含四个统计量：决定系数R^2(R为相关系数)、F值
%F(1,n-2)分布大于F值的概率p、剩余方差s^2
%s^2也可以由sum(r.^2)/(n-2)计算

%作用：1.R^2越接近1，变量线性相关越强，模型越有效
%2.(在1-α水平下)F(1,n-2)