大模型从神话步入现实的历程启示我们：技术的真正魅力源自于“脱敏”。在褪去过度期待与泡沫之后，我们还需对技术本身进行脱敏，否则，应用化的核心价值就可能会被忽视，如同房间里的大象般显而易见却无人问津。

预训练语言模型通常在其参数中编码大量信息，并且随着规模的增加，它们可以更准确地回忆和使用这些信息。对于主要将信息编码为线性矩阵变换权重的密集深度神经网络来说，参数大小的扩展直接与计算和能量需求的增加相关。语言模型需要学习的一个重要信息子集是简单关联。

美国财政部还去年10月发布、今年1月2日已生效的对华投资审查最终规则，把禁止美国投资的中国AI模型阈值确定为：训练所用计算量的阈值超过了 10^25FLOPs；主要使用生物序列数据训练的，计算量阈值超过了 10^24FLOPs。

此外，该研究首次提出了对字节级模型进行 flop 控制的扩展研究，参数规模高达 8B，训练字节高达 4T，从而展示了在没有固定词汇表 tokenization 的 ...

无差别扫射2024跨年晚会！细心的闺蜜们会发现，昨天的跨年晚会我微博没怎么发cut。往年多多少少会发几条夸奖或批评的内容，但这次看了一圈，多数节目比鸡肋还食之无味。不过，本着媒体人的责任感，我还是每家都刷了一遍，准备给大家分享一下看法。

昨晚的跨年晚会，真是一场令人又爱又恨的视听盛宴。 各大卫视和平台纷纷拿出看家本领，试图在这个特别的夜晚吸引观众的目光。 不过，看完一圈下来，感觉整体表现实在一般，有些节目甚至令人哭笑不得。 先说说芒果台的那场大型社死吧。 陈哲远和程潇一起表演《迷迭香 ...

2024年12月9日，美国白宫管理预算办公室的法规登记网页悄悄放上去一个联邦法规立项通知。项目的名字叫“人工智能扩散出口管制框架”（Export Control Framework for Artificial Intelligence Diffusion）。两天后，美国智库战略与国际研究中心（CSIS）瓦德瓦尼人工智能中心主任Gregory ...

BLT 在许多基准测试中超越了基于 token 的架构。 最近几天，来自 Meta 、芝加哥大学等机构的合著论文《 Byte Latent Transformer: Patches Scale Better Than Tokens ...

随著拜登总统任期在倒数，各种的独立分析开始审视他执政记录、成就和失败。评估拜登影响力的一种方法就是检视美国人对其试图竞选连任的反应。在这方面，拜登被大部分美国人拒绝，认为他不应寻求连任。这样的判断不仅是因为他认知衰退是所有人都看得见的，包括最坚定的民 ...

宝子们，昨天在日本举办的“第66届日本唱片大赏”可谓是热闹非凡，大家瞧见了吗？韩国人气女团NewJeans不仅站在舞台正中央，还一举获得了大奖！与此同时，LE SSERAFIM和ILLIT这两组女团似乎被默默地放到了一旁，顿时引发了韩网的热烈讨论。