1.1 机器学习的定义和分类机器学习是人工智能的一个分支,它的目标是让计算机系统从数据中自动学习和改进,而无需进行明确编程。根据使用的学习信号或反馈的类型,机器学习可以分为以下三类:
(1)监督学习:训练数据包含输入和期望输出,目标是学习一个从输入到输出的映射。
(2)无监督学习:训练数据只包含输入,目标是在输入数据中发现隐藏的结构和模式。
(3)强化学习:通过与环境的交互获得奖励或惩罚信号,目标是学习一个使得累积奖励最大化的策略。
1.2 机器学习的一般过程
机器学习的一般过程可以分为以下几个步骤:
(1)数据收集:获取足够数量和质量的训练数据。
(2)数据预处理:对原始数据进行清洗、转换、特征提取等处理。
(3)模型选择:根据任务的类型和数据的特点,选择合适的学习算法。
(4)模型训练:使用训练数据对模型进行训练,调整模型参数。
(5)模型评估:使用验证数据对模型的性能进行评估,选择性能最优的模型。
(6)模型应用:将训练好的模型应用于实际任务,不断监测和优化其性能。
1.3 训练数据、验证数据和测试数据
在机器学习中,数据集通常被划分为三个不同的子集:
(1)训练数据:用于训练模型,使其学习数据中的规律和模式。
(2)验证数据:用于调整模型的超参数,评估模型的泛化能力。
(3)测试数据:用于评估模型的最终性能,不应在训练和调参阶段使用。
一般来说,数据集的划分比例为训练数据:验证数据:测试数据=6:2:2。
1.4 过拟合与欠拟合
在机器学习中,模型的性能不仅要考虑在训练数据上的表现,更要关注其在未知数据上的泛化能力。当模型在训练数据上表现很好,但在测试数据上表现较差时,就会出现过拟合和欠拟合的问题。
过拟合是指模型过于复杂,对训练数据的噪声和特殊性过度拟合,导致泛化能力下降。欠拟合是指模型过于简单,无法很好地捕捉数据的内在规律,导致预测性能不佳。
解决过拟合和欠拟合的常用方法包括:
(1)增加训练数据:更多的数据有助于提高模型的泛化能力。
(2)特征选择:去除不相关的、冗余的特征,降低模型复杂度。
(3)正则化:在目标函数中引入惩罚项,限制模型的复杂度。
(4)交叉验证:将数据分为多个子集,轮流作为验证数据,评估模型性能。
1.5 特征工程
特征工程是将原始数据转化为适合机器学习算法的特征的过程,其目标是最大限度地从原始数据中提取有助于学习任务的特征。常用的特征工程技术包括:
(1)特征提取:从原始数据中提取有价值的特征,如统计特征、文本特征等。
(2)特征选择:从众多特征中选择最具有区分力的特征子集。
(3)特征变换:对特征进行归一化、标准化、正则化等数据变换。
(4)特征创建:根据领域知识构建新的组合特征。
DPex数字公证存证亮点 实现无需上传源文件，又可以完成公证存证的“私密存证”功能，满足企业在商业秘密、敏感数据方面的保密需求和存证保护需求。 
