英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强

186次阅读
没有评论

共计 355 个字符,预计需要花费 1 分钟才能阅读完成。

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

文章来源:https://www.jiqizhixin.com/articles/2024-08-16-4

正文完
 
yangyang
版权声明:本站原创文章,由 yangyang 2024-08-16发表,共计355字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)