正則化防止過擬合的原理?

正則化防止過擬合原理是：任意丟棄神經(jīng)網(wǎng)絡(luò)層中的輸入，該層可以是數(shù)據(jù)樣本中的輸入變量或來自先前層的激活。 它能夠模擬具有大量不同網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，并且反過來使網(wǎng)絡(luò)中的節(jié)點(diǎn)更具有魯棒性。

正則化項(xiàng)是怎么發(fā)揮作用的?

正則化的主要作用是防止過擬合，對模型添加正則化項(xiàng)可以限制模型的復(fù)雜度，使得模型在復(fù)雜度和性能達(dá)到平衡。 常用的正則化方法有L1正則化和L2正則化。L1正則化和L2正則化可以看做是損失函數(shù)的懲罰項(xiàng)。所謂『懲罰』是指對損失函數(shù)中的某些參數(shù)做一些限制。 L1正則化的模型建叫做Lasso回歸，使用L2正則化的模型叫做Ridge回歸。

l1正則化和l2正則化有什么區(qū)別，為什么?

L1和L2正則化的目的都是使模型系數(shù)盡可能小，從而解決模型的過擬合問題。他們的區(qū)別在于，l1正則化限制模型系數(shù)的l1范數(shù)盡可能??；l2正則化限制模型系數(shù)的l2范數(shù)盡可能小。即，L1會(huì)趨向于產(chǎn)生少量的特征，而其他的特征都是0，而L2會(huì)選擇更多的特征，這些特征都會(huì)接近于0。