five fold cross-validation的最后性能

一个数据集，和一个模型算法（我们假设是svm）， 用5-fold cross-validation后给出的最后性能到底是什么性能？

因为，如果这个数据集，分成5fold，那么就会有5个子数据集， 每个子数据集中都有80%的训练数据和20%的测试数据。

一个子数据集，进行机器学习，会有1）训练集合的性能，和2）测试集合的性能。

5个子数据集，我们就会有5个训练集合的性能，和5个测试集合的性能。

请问，最后报告的是那个性能呢？
如果是平均，那么如何平均呢？

如果我做的话，先留出20%作为test set。然后对余下的80%做5-fold CV调参。最后用调好参数的model fit 所有的80% data，用留出来的20% test set报告结果。

JesusDuan 发表于 2022-2-11 23:38
同上，一套参数一个模型在5个split上性能，一般我会去取五个的test set和对应的true value一起算性能，比五 ...

嗯。多谢！知道了这个5 fold cross validation的性能了，那接下来，做什么呢？

怎么去建模呢？这个建模能用上前面的5 fold cross validation的结果吗？
是调出5个fold里面最好的模型，来建模，
还是
重新对training set进行建模，建模是独立于前面的5 fold cross validation的。

5fold cross validation最后会有五个数，通过这五个数的方差你大概能看出模型是不是稳定，是不是有很多过拟合。

最后报告的是5个测试组合的平均值。
如果你有五个模型，选出平均值最高的模型即可

mountsouth 发表于 2022-2-9 20:14
如果我做的话，先留出20%作为test set。然后对余下的80%做5-fold CV调参。最后用调好参数的model fit 所有 ...

请问对余下的80%做5-fold CV调参的时候，
你将得到5次性能

调参的目标函数是什么？

microsat 发表于 2022-2-10 14:16
请问对余下的80%做5-fold CV调参的时候，
你将得到5次性能

这5次的average和variation都会看一下，variation差不多就选average loss最小的那套参数

cv不是用来调参的 只是一套参数在e.g. 5种train-valid split上计算性能 通常取平均做为最后的性能 来看你的模型generalization能力如何
除非你combine了random search 或者grid search (像sklearn的RandomizedSearchCV, GridSearchCV) 才是调参

同上，一套参数一个模型在5个split上性能，一般我会去取五个的test set和对应的true value一起算性能，比五个性能的平均感觉要好一些。

如有多个模型可以做stacking，给你一个连接讲的蛮好的：https://machinelearningmastery.c ... n-machine-learning/