备案控制台
探索云世界
开发者社区 Java技术进阶 文章 正文

06 EM算法 - 案例一 - EM分类初识及GMM算法实现

2019-01-05 2078
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 05 EM算法 - 高斯混合模型 - GMM多元正态分布 - multivariate_normal API参考链接:https://docs.scipy.org/doc/numpy-dev/genindex.

05 EM算法 - 高斯混合模型 - GMM

多元正态分布 - multivariate_normal API参考链接:

https://docs.scipy.org/doc/numpy-dev/genindex.html
http://scipy.github.io/devdocs/
http://scipy.github.io/devdocs/stats.html
http://scipy.github.io/devdocs/generated/scipy.stats.multivariate_normal.html#scipy.stats.multivariate_normal

很多我们运用到的函数都在scipy库中，比如numpy是用一些Python基础语法，然后加上scipy函数来写出来的。

常规操作：

import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

from scipy.stats import multivariate_normal#多元正态分布
from sklearn.mixture import GaussianMixture#GMM Gaussian Mixture Model
from sklearn.metrics.pairwise import pairwise_distances_argmin

# 解决中文显示问题
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = False

# 设置在jupyter中matplotlib的显示情况（默认inline是内嵌显示，通过设置为tk表示不内嵌显示）
%matplotlib tk

高斯混合模型的库：sklearn.mixture.GaussianMixture

__PS：__在0.18版本以前是__sklearn.mixture.GMM__，两者的参数基本类型，这里主要介绍__GaussianMixture__的相关参数。

属性参数：

n_components： 混合组合的个数，默认为1, 可以理解为聚类/分类数量。$color{red}{有几个独立的高斯分布k - 工作中有价值去调的参数就这一个。}$

covariance_type： $color{red}{第k分类的条件下样本的协方差 - ∑k}$给定协方差的类型，可选: __full、tied、diag、spherical__。
默认为full；
__full：__每个组件都有自己的公用的协防差矩阵。即，每一个协方差矩阵都不相等。$color{red}{ ∑1、∑2、...、∑k都不相等。}$
__tied：__所有组件公用一个协方差矩阵。即，每一个协方差矩阵都相等。$color{red}{ ∑1 = ∑2 =、...、= ∑k}$
__diag：__每个组件都有自己的斜对角协方差矩阵。

diag对应的协方差矩阵

__spherical：__每个组件都有相同的方差值；

spherical - 其中Ã1~Ãn都相等

__tol：__默认1e-3，收敛阈值，如果在迭代过程中，平均增益小于该值的时候，EM算法结束。

__reg_covar：__协方差对角线上的非负正则化参数，默认为0 - 表示不用非负正则化。
max_iter： em算法的最大迭代次数，默认100。
n_init: 默认值1，执行初始化操作数量，该参数最好不要变动。

__init_params：__初始化权重值、均值以及精度的方法，参数可选：__kmeans、random__。
默认kmeans；
__kmeans：__使用kmeans算法进行初始化操作。

__weights_init：__初始化权重列表，如果没有给定，那么使用__init_params__参数给定的方法来进行创建，默认为None。
__means_init：__初始化均值列表，如果没有给定，那么使用__init_params__参数给定的方法来进行创建，默认为None。
precisions_init: 初始化精度列表，如果没有给定，那么使用__init_params__参数给定的方法来进行创建，默认为None。

__warn_stat：__默认为False，当该值为true的时候，在类似问题被多次训练的时候，可以加快收敛速度。

1、使用scikit携带的EM算法或者自己实现的EM算法

def trainModel(style, x):
    if style == 'sklearn':
        print("sklearn")
        # 对象创建
        g = GaussianMixture(n_components=2, covariance_type='full', 
           tol=1e-6, max_iter=1000, init_params='kmeans')
        # 模型训练
        g.fit(x)
        # 效果输出
        print('类别概率:\t', g.weights_[0])
        print('均值:\n', g.means_, '\n')
        print('方差:\n', g.covariances_, '\n')
        print('似然函数的值:\n', g.lower_bound_)
        mu1, mu2 = g.means_
        sigma1, sigma2 = g.covariances_
        # 返回数据
        return (mu1, mu2, sigma1, sigma2)
    else:
        ## 自己实现一个EM算法
        ## 迭代100次
        num_iter = 100
        n, d = data.shape
        
        # 初始化均值和方差正定矩阵(sigma叫做协方差矩阵)
        mu1 = data.min(axis=0)
        mu2 = data.max(axis=0)
        sigma1 = np.identity(d)
        sigma2 = np.identity(d)
        pi = 0.5 # 属于第一类高斯分布的概率
        print("随机初始的期望为:")
        print(mu1)
        print(mu2)
        print("随机初始的方差为:")
        print(sigma1)
        print(sigma2)
        print("随机初始的π为:")
        print([pi, 1-pi]) #1-pi就是属于第二类高斯分布的概率
        
        # 实现EM算法
        for i in range(num_iter):
            # E Step
            # 1. 计算获得多元高斯分布的概率密度函数
            norm1 = multivariate_normal(mu1, sigma1)
            norm2 = multivariate_normal(mu2, sigma2)
            # 2. 计算概率值
            tau1 = pi * norm1.pdf(data)
            tau2 = (1 - pi) * norm2.pdf(data)
            # 3. 概率值均一化（即公式中的w）
            gamma = tau1 / (tau1 + tau2)
            
            # M Step
            # 1. 计算更新后的均值
            mu1 = np.dot(gamma, data) / np.sum(gamma)
            mu2 = np.dot((1 - gamma), data) / np.sum((1 - gamma))
            # 2. 计算更新后的方差
            sigma1 = np.dot(gamma * (data - mu1).T, data - mu1) / np.sum(gamma)
            sigma2 = np.dot((1 - gamma) * (data - mu2).T, data - mu2) / np.sum(1 - gamma)
            # 3. 计算更新后的π值
            pi = np.sum(gamma) / n
            
            # 输出信息
            j = i + 1
            if j % 10 == 0:
                print (j, ":\t", mu1, mu2)
        
        # 效果输出
        print ('类别概率:\t', pi)
        print ('均值:\t', mu1, mu2)
        print ('方差:\n', sigma1, '\n\n', sigma2, '\n')
        
        # 返回结果
        return (mu1, mu2, sigma1, sigma2)

2、创建模拟数据

# 创建模拟数据（3维数据）
np.random.seed(28)
N = 500
M = 250

## 根据给定的均值和协方差矩阵构建数据
mean1 = (0, 0, 0)
cov1 = np.diag((1, 2, 3))
## 产生400条数据
data1 = np.random.multivariate_normal(mean1, cov1, N)

## 产生一个数据分布不均衡的数据集， 100条
mean2 = (2, 2, 1)
cov2 = np.array(((3, 1, 0), (1, 3, 0), (0, 0, 3)))
data2 = np.random.multivariate_normal(mean2, cov2, M)

## 合并data1和data2这两个数据集
data = np.vstack((data1, data2))

## 产生数据对应的y值
y1 = np.array([True] * N + [False] * M)
y2 = ~y1
print(y1)
print('---------')
print(y2)

输出：

[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False]
---------
[False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False False False False False
 False False False False False False False False  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True]

3、预测结果(得到概率密度值)

style = 'sklearn'
style = 'self'
mu1, mu2, sigma1, sigma2 = trainModel(style, data)

预测分类（根据均值和方差对原始数据进行概率密度的推测）

norm1 = multivariate_normal(mu1, sigma1)
norm2 = multivariate_normal(mu2, sigma2)
tau1 = norm1.pdf(data)
tau2 = norm2.pdf(data)

随机初始的期望为:
[-3.2408628 -3.85600655 -5.36300731]
[8.18151162 6.20669356 5.719554 ]
随机初始的方差为:
[[1. 0. 0.]
[0. 1. 0.]
[0. 0. 1.]]
[[1. 0. 0.]
[0. 1. 0.]
[0. 0. 1.]]
随机初始的π为:
[0.5, 0.5]
10 : [0.15631385 0.06809082 0.04857579] [2.44502406 2.45578419 0.9091761 ]
20 : [0.14397974 0.04785923 0.04506974] [2.28240941 2.30685014 0.84484619]
30 : [0.14088163 0.02935465 0.03209345] [2.15917602 2.21594906 0.82923206]
40 : [0.13934104 0.01693114 0.0228729 ] [2.08010249 2.1564362 0.8189457 ]
50 : [0.13836058 0.00937934 0.01770358] [2.03246294 2.11908375 0.81057717]
60 : [0.13774293 0.00491933 0.01495515] [2.0042425 2.09629406 0.80446921]
70 : [0.13736483 0.00229644 0.01348018] [1.98756296 2.08257617 0.80038644]
80 : [0.13713691 0.00075078 0.01266793] [1.97769407 2.07437102 0.79779292]
90 : [ 0.13700051 -0.00016251 0.01220949] [1.97184694 2.06947843 0.79619181]
100 : [ 0.13691916 -0.00070326 0.0119459 ] [1.96837906 2.06656572 0.79521918]
类别概率: 0.6899093466771541
均值: [ 0.13691916 -0.00070326 0.0119459 ] [1.96837906 2.06656572 0.79521918]
方差:
[[ 0.95205447 0.1172476 -0.03011033]
[ 0.1172476 2.17736238 0.01510168]
[-0.03011033 0.01510168 2.69115809]]

[[ 3.94127407 1.31328462 -0.26576838]
[ 1.31328462 3.4491304 0.12676854]
[-0.26576838 0.12676854 2.94238901]]

4、计算均值的距离，然后根据距离得到分类情况

dist = pairwise_distances_argmin([mean1, mean2], [mu1, mu2], metric='euclidean')
print ("距离:", dist)
if dist[0] == 0:
    c1 = tau1 > tau2
else:
    c1 = tau1 < tau2
c2 = ~c1

计算准备率

acc = np.mean(y1 == c1)
print (u'准确率：%.2f%%' % (100*acc))

距离: [0 1]
准确率：85.07%

5、画图

fig = plt.figure(figsize=(12, 6), facecolor='w')

## 添加一个子图，设置为3d的
ax = fig.add_subplot(121, projection='3d')
## 点图
ax.scatter(data[y1, 0], data[y1, 1], data[y1, 2], c='r', s=30, marker='o', depthshade=True)
ax.scatter(data[y2, 0], data[y2, 1], data[y2, 2], c='g', s=30, marker='^', depthshade=True)
## 标签
ax.set_xlabel('X')
ax.set_ylabel('Y')
ax.set_zlabel('Z')
## 标题
ax.set_title(u'原始数据', fontsize=16)

## 添加一个子图，设置为3d
ax = fig.add_subplot(122, projection='3d')
# 画点
ax.scatter(data[c1, 0], data[c1, 1], data[c1, 2], c='r', s=30, marker='o', depthshade=True)
ax.scatter(data[c2, 0], data[c2, 1], data[c2, 2], c='g', s=30, marker='^', depthshade=True)
# 设置标签
ax.set_xlabel('X')
ax.set_ylabel('Y')
ax.set_zlabel('Z')
# 设置标题
ax.set_title(u'EM算法分类', fontsize=16)

# 设置总标题
plt.suptitle(u'EM算法的实现,准备率：%.2f%%' % (acc * 100), fontsize=20)
plt.subplots_adjust(top=0.90)
plt.tight_layout()
plt.show()

文章标签：
算法
Python
关键词：
em算法
算法em
算法案例
算法分类
算法算法实现
白尔摩斯
目录
相关文章
肖宜
|
1月前
|
机器学习/深度学习 算法 数据库
KNN和SVM实现对LFW人像图像数据集的分类应用
KNN和SVM实现对LFW人像图像数据集的分类应用
肖宜
33 0
热烈的马
|
4月前
|
机器学习/深度学习 算法 前端开发
【数据挖掘】袋装、AdaBoost、随机森林算法的讲解及分类实战（超详细 附源码）
【数据挖掘】袋装、AdaBoost、随机森林算法的讲解及分类实战（超详细 附源码）
热烈的马
38 0
wljslmz
|
8天前
|
机器学习/深度学习 自然语言处理 算法
机器学习算法的基本概念、分类和评价标准，以及一些常用的机器学习算法的原理和特点
【4月更文挑战第6天】
wljslmz
27 2
4as3qn2go3ure
|
2天前
|
机器学习/深度学习 算法 数据挖掘
R语言：EM算法和高斯混合模型的实现
R语言：EM算法和高斯混合模型的实现
4as3qn2go3ure
12 1
4as3qn2go3ure
|
2天前
|
算法 数据可视化 数据挖掘
R语言社区主题检测算法应用案例
R语言社区主题检测算法应用案例
4as3qn2go3ure
9 0
研发咨询顾问
|
1月前
|
机器学习/深度学习 自然语言处理 搜索推荐
推荐系统的算法分类和操作流程介绍
推荐系统的算法分类和操作流程介绍
研发咨询顾问
46 0
研发咨询顾问
|
1月前
|
机器学习/深度学习 算法
机器学习与深度学习的算法分类
机器学习与深度学习的算法分类
研发咨询顾问
28 0
技术混子
|
2月前
|
机器学习/深度学习 自然语言处理 算法
如何利用机器学习算法提高分类准确率
【2月更文挑战第7天】机器学习在现代科技中扮演着重要的角色。分类是其中一种基本的机器学习任务，而分类准确率是衡量分类模型好坏的重要指标。本文将介绍如何利用机器学习算法来提高分类准确率。
技术混子
21 0
疯狂的猿
|
2月前
|
算法 索引
二分查找算法案例
二分查找算法案例
疯狂的猿
18 0
艾派森_
|
2月前
|
机器学习/深度学习 自然语言处理 算法
基于TF-IDF+KMeans聚类算法构建中文文本分类模型（附案例实战）
基于TF-IDF+KMeans聚类算法构建中文文本分类模型（附案例实战）
艾派森_
110 1

Java技术进阶

热门文章

最新文章

  • 1
    【MATLAB】GA_ELM神经网络时序预测算法
  • 2
    RPN(Region Proposal Networks)候选区域网络算法解析（附PyTorch代码）
  • 3
    使用Python实现DBSCAN聚类算法
  • 4
    【软件设计师备考 专题 】算法探索：排序、查找、数值计算和字符串处理（一）
  • 5
    【C++ 数据结构与算法 一站式备考指南】一文掌握 数据结构与算法课程 知识点（二）
  • 6
    Docker Swarm总结+service创建和部署、overlay网络以及Raft算法（2/5）
  • 7
    C++ Algorithm 库 算法秘境探索（Algorithm Wonderland Exploration）
  • 8
    R语言聚类算法的应用实例
  • 9
    经典控制算法——PID算法原理分析及优化
  • 10
    [YOLOv8/YOLOv7/YOLOv5系列算法改进NO.5]改进特征融合网络PANET为BIFPN（更新添加小目标检测层yaml）
  • 1
    视觉智能平台常见问题之其他算法定制化开发如何解决
    27
  • 2
    使用Python实现图像处理中的边缘检测算法
    39
  • 3
    利用机器学习算法改善电商推荐系统的效率
    70
  • 4
    Python基础算法解析：K最近邻算法
    20
  • 5
    【数据结构与算法】—— 手撕红黑树
    34
  • 6
    【优选算法】—— 字符串匹配算法
    41
  • 7
    【优选算法】—— 滑动窗口类问题
    39
  • 8
    【算法】——全排列算法讲解
    29
  • 9
    【排序算法】数据结构排序详解
    41
  • 10
    数据结构——排序算法之快速排序
    33

    • 相关课程

    更多
  • 相册服务中的故事生成算法介绍
  • Go语言核心编程 - 数据结构和算法
  • 神经网络概览及算法详解
  • 【医学搜索Query相关性判断】赛题及baseline解读

    • 相关电子书

    更多
  • 数据+算法定义新世界
  • 袋鼠云基于实时计算的反黄牛算法
  • Alink：基于Apache Flink的算法平台

    • 相关实验场景

    更多
  • TLS1.3的后量子算法集成
  • RSA非对称加密算法
  • 推荐系统入门之使用ALS算法实现打分预测
    • 下一篇
    阿里云oss简介和使用流程
    为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告
    产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理
    解决方案技术解决方案
    文档与社区文档开发者社区天池大赛培训与认证
    权益中心免费试用高校计划企业扶持计划推荐返现计划
    支持与服务基础服务企业增值服务迁云服务官网公告健康看板信任中心
    关注阿里云
    关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务
    阿里云APP阿里云微信
    联系我们：4008013260
    法律声明Cookies政策廉正举报安全举报联系我们加入我们
    阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么
    © 2009-2024 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015
    浙公网安备 33010602009975号浙B2-20080101-4