协变量是一个独立变量(解释变量),不为实验者所操纵,但仍影响响应。同时,它指与因变量有线性相关并在探讨自变量与因变量关系时通过统计技术加以控制的变量。协变量应该属于控制变量的一种。有些控制变量可以通过实验操作加以控制,也称为无关变量。
在实验的设计中,协变量是一个独立变量(解释变量),不为实验者所操纵,但仍影响响应。同时,它指与因变量有线性相关并在探讨自变量与因变量关系时通过统计技术加以控制的变量。常用的协变量包括因变量的前测分数、人口统计学指标以及与因变量明显不同的个人特征等。
协变量应该属于控制变量的一种。有些控制变量可以通过实验操作加以控制(如照明、室温等),也称为无关变量;而另一些控制变量由于受实验设计等因素的限制,只能借助统计技术来加以控制,即成了统计分析中的协变量,因而属于统计概念。
在深度神经网络的训练过程中,上一层参数的调整会导致之后每一层输入值的分布发生变化,这种现象使模型的训练变得很复杂。所以在深度神经网络模型的训练中,通常需要仔细选取初始参数并采取较小的学习率,这不但导致模型训练的效率低下,而且使得饱和非线性模型的训练极为困难。我们把这种现象称为内部协变量转移(covariate shift),并通过归一化(normalizing)每层的输入来解决这个问题。
从这句话中可知,神经网络的参数就是协变量,因为它是不可控的且在训练过程中是必须变化的,且对输出值会产生影响,所以当参数发生变化时,就发生了协变量转移。
而在迁移学习中,当协变量的值发生了变化,输出的样本分布也就发生了变化,从而产生了源域与目标域分布差异,而若是我们能够纠正这个协变量的迁移,就能够将源域与目标域结合起来了训练模型。
延伸阅读:
什么是控制变量?
控制变量在进行科学实验的概念,是指那些除了实验因素(自变量)以外的所有影响实验结果的变量,这些变量不是本实验所要研究的变量,所以又称无关变量、无关因子、非实验因素或非实验因子。
只有将自变量以外一切能引起因变量变化的变量控制好,才能弄清实验中的因果关系。控制变量衍生到生活中的作用是控制一定影响因素从而得到真实的结果。
文章标题:协变量是什么含义,发布者:小编,转载请注明出处:https://worktile.com/kb/p/38534