IT团队必须与负责监督数据科学家、数据工程师和分析师的经理合作，开发能够补充模型集成技术的干预点。

大多数管理人员在实施旨在提高团队或组织工作流程的技术时都会感到兴奋。但他们往往忽略了有助于成功实施该技术的细节。监督数据科学家、数据工程师和研究机器学习计划的分析师的管理人员也会产生同样的情绪。

每个组织似乎都喜欢机器学习。可以说，因为爱是盲目的， IT团队成为保护这种欣欣向荣感觉的第一道防线。他们可以通过帮助管理人员了解模型如何从数据源中匹配观察来开始这种保护。欣赏数据模型中的统计平衡对于建立管理至关重要，以尽量减少导致现实世界决策非常糟糕的错误。过度拟合和不匹配是讨论的关键部分。

资料来源： WrightStudio via Adobe公司 Stock

过度拟合和不拟合解决了训练数据性能与模型或机器学习算法的生产数据性能相比的问题。分析师可以看到训练数据的良好性能，但在新的数据样本中，或者更糟糕的是，在生产中，结果表现出糟糕的泛化。

那么，所有这些在实践中是如何工作的呢？过度拟合意味着模型将训练数据中的噪声作为一个可靠的指标，而实际上，当噪声失真时。该模型从任何不包含相同或其中任何噪声的新数据集-即生产数据-创造了一个糟糕的预测。从统计角度来看，如果模型或算法显示低偏差但高方差，则会发生过度拟合。

Undefit引入了一个不同的模型性能问题。直觉上， Undefit意味着模型或算法不能很好地捕获所有数据，以了解数据之间的统计关系。从统计角度来看，如果模型或算法显示低方差但高偏差，则会发生不匹配。

这两种模型条件都将一般化简化为错误的决策。一般化是机器学习模型准确访问看不见的数据的能力。获得正确的一般化是建立一个好的机器学习模型的核心。

分析师的一个途径是检查培训数据，以确定是否有可能进行额外观察，以避免在模型中添加不平衡的数据集。我之前曾在一篇文章中解释过不平衡的数据集。

但添加观察或添加特征是有限制的。在一些现象中，添加更多数据不会产生进一步的性能改进。一个例子是休斯现象，它表明，随着特征数量的增加，分类模型的性能提高到一个最佳特征数量的点，然后根据与添加的训练集相同的大小增加更多特征来降低性能。 休斯现象当然应该提醒数据专业人员维度的诅咒。在许多情况下，如高维模型，可能的唯一行的数量呈指数增长。差异也从额外观察中增加。结果是一个模型有更多的机会过度拟合，使准确的一般化更难建立并提高开发效率。

因此，最有可能的努力将涉及在偏见和差异之间找到平衡。低偏见和差异是一个理想的目标，但通常不切实际或不可能实现。分析师应该专注于交叉验证技术，如梯度提升，以尽量减少实施糟糕模型的可能性。

IT团队必须与监督数据科学家、数据工程师和分析师的经理合作，开发干预点，以补充模型集成技术。交互还可以导致形成健壮的管理程序，如事件检测的可观察性和根源报告。结果是建立了一个系统，最大限度地减少与数据问题有关的操作停机时间。它还产生了一个过程点，用于管理偏见和方差的平衡，以保护模型的准确性并产生公平的结果。

信号噪声并不意味着道德存在于一个结果中。良好的判断将确保道德存在于结果中。这种结果当然值得一种欣喜若狂的感觉。