最近想写一篇系列博客比较系统的解释一下 SLAM 中运用到的优化理论相关内容,包括线性最小二乘、非线性最小二乘、最小二乘工具的使用、最大似然与最小二 乘的关系以及矩阵的稀疏性等内容。一方面是督促自己对这部分知识进行总结,另一方面也希望能够对其他人有所帮助。由于内容比较多希望能够坚持写完。
本篇博客主要讲解线性最小二乘问题，主要包括以下内容：
最小二乘问题的定义
正规方程求解
乔姆斯基分解法求解
QR分解法求解
奇异值分解法求解
齐次方程的最小二乘
一. 问题的定义
最小二乘问题通常可以表述为,通过搜集到的一些数据(获取得到的样本),对某一个模型进行拟合,并尽可能的使得模型结果和样本达到某种程度上的最佳拟合:
转化为数学表达式为:
其中 x 为模型中参数所组成的向量,e 通常被称为残差向量(residual vector).
现在假设我们的模型函数为 Ax,样本为 b 且方程数大于未知量数则有:
转化为最小二乘表达式为:
该方程通常可以通过正规方程、QR 分解、乔姆斯基分解(Cholesky decomposition)和奇异值分解(SVD)等方法求解。
二. 求解方法
2.1. 正规方程(Normal Equation)
将展开可以得到:
为了求解得到该方程的最优解(即最小值),我们可以求解其对于参数 x 的偏导数,并令其等于零:
化简后得到:
以上被称为最小二乘的正规方程(Normal Equation)。进一步求解可得到:
该结果亦可表示为矩阵的伪逆形式(伪逆为逆矩阵广义形式,奇异阵或非方阵不存在逆矩阵,但可以求解其伪逆矩阵)
延伸阅读
- ssh框架 2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁 2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】 2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词 2017-07-26
- 从栈不平衡问题 理解 calling convention 2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明 2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解 2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析 2017-07-26
- 集合结合数据结构来看看(二) 2017-07-26
学习是年轻人改变自己的最好方式