机器学习（周志华）- 第7章贝叶斯分类器笔记

贝叶斯决策论贝叶斯决策论是概率框架下实施觉此的基本方法。对分类任务来说，在所有的相关概率都已知的理想情形下，贝叶斯决策率考虑如何基于这些概率和误判误差来选择最优的类别标记。下面以多分类任务为例解释基本原理。假设有N种可能标记， $\lambda_{ij}$是将类cj误分类为ci

机器学习（周志华）- 第6章支持向量机(2)笔记

软间隔与正则化在前面袈裟中我们一直假设训练样本在样本空间或者特征空间中是线性可分的，即存在一个超平面能将不同类的样本完全划分开。然而现实任务中往往很难确定合适的核函数使得训练样本在特征空间中线性可分；即时找到了某个核函数使得训练集在特征空间中线性可分，也很难断定这个貌似线性

注：看书看不懂，参考了pluskid的博客。支持向量机这个名字强调了此类学习器的关键是如何从支持向量构造出解；同时也暗示着其复杂程度主要和支持向量的数目有关。间隔与支持向量分类学习的最基本想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。在样本空间，划分

神经元模型“M-P神经元模型”：在这个模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过待权重的链接进行传递，神经元接受到的总输入值与神经元的阈值进行比较，然后通过激活函数处理输出。如下图：理想的激活函数是阶跃函数，将输出值映射为0或1,。但是阶跃函数具有

定义一般的一棵决策树包含一个根节点、若干个内部节点和叶节点；叶节点对应于决策结果，其他每个节点则对应于一个属性测试；每个节点包含的样本集合根据测试的结果被划分到子节点中根节点包含样本全集。从根节点到每个叶节点的路径对应了一个判定测试序列。决策树学习的目的是为了产生一颗繁华能力强

基本形式由d个属性描述的示例$\textbf{x} = (x_1; x_2;…;x_d))$,线性模型试图通过属性的线性组合来进行预测函数，即$$f(\textbf{x}) = \textbf{w}^T\textbf{x}+b$$$\textbf{w}$和$b$学得后模型就可以确

经验误差与过拟合错误率：分类错误样本数占样本总数精度： 1 - 错误率误差：学习器事假预测输出样本与样本真实输出之间的差异在训练集上的误差————“训练误差”（“经验误差”）在新样本上的误差————“泛化误差” 我们希望泛化误差小，但是实际无法预知新样本只能采用“经验误差

引言机器学习是致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。基本术语预测的是离散值–分类预测的是连续值–回归根据训练值是否有标记信息，分为无监督学习和有监督学习。学得的模型适用于新样本的能力成为“泛化”能力（generalization）。一般来说训练样本越多

来源;http://blog.csdn.net/fanzitao/article/details/8042015 引入Amazon的面试题：找出给定字符串里的最长回文。例子：输入XMADAMYX。则输出MADAM。这道题的流行解法是用后缀树（Suffix Tree)。这个数据结构