1101模型选择
训练误差
模型在训练数据上的误差(模拟考试)
泛化误差
模型在新数据上的误差(真实考试)
验证数据集 valid
评估模型好坏的数据集
不要跟训练数据混在一起
测试数据集
只用一次的数据集
K-则交查验证
在没有足够多数据时使用
算法:
??将训练数据分割成K块
??for i=1,...,K
???使用第i块作为验证数据集,其余作为训练数据集
??报告K个验证集误差的平均
常用:K=5或10
模型在训练数据上的误差(模拟考试)
模型在新数据上的误差(真实考试)
评估模型好坏的数据集
不要跟训练数据混在一起
只用一次的数据集
在没有足够多数据时使用
算法:
??将训练数据分割成K块
??for i=1,...,K
???使用第i块作为验证数据集,其余作为训练数据集
??报告K个验证集误差的平均
常用:K=5或10