2020 年 5 月，在 GPT-2 发布一年后，GPT-3 正式发布，而 GPT-2 也是在原始 GPT 论文发表一年后发布的。按照这种趋势， GPT-4 早在一年前就该发布了，但至今尚未面世。

nsightFace模型里大量使用了PReLU激活函数，而PReLU的工作模式有两种： 1. PReLU(1)，此时权重alpha的形状为(1, )，等价于一个Elementwise操作。 2. PReLU(channels)，此时权重alpha的形状为(channels, )，和输入特征(N, C, H, W)中C的大小是对应的。此时PReLU等价于一个Binary Broadcast操作。

在架构治理平台 ArchGuard 中，为了实现对架构的治理，我们需要代码 + 模型描述所要处理的内容和数据。所以，在 ArchGuard 中，我们有了代码的模型、依赖的模型、变更的模型等，剩下的两个核心的部分就是架构的模型、架构的治理模型，其它的还有诸如构建的模型等，会在后续的过程中持续引入到系统中。

备受瞩目的开源创业公司Hugging Face一周之内完成了价值1亿美元的C轮融资。在完成此轮融资之后，Hugging Face估值将达到20亿美元。

今日，国外科技网站 Techmeme 首页的一则消息吸引了诸多人关注：苹果机器学习总监 Ian Goodfellow 宣布离职，原因是苹果要求员工重返工作室办公。

在OneFlow中，Global View也被称作一致性视角，用来把一个物理集群抽象成一个逻辑设备，并使用Placement和SBP来实现这种抽象。本文从基本概念、数据结构、接口实现等方面对其进行学习和总结。

近两年 TensorFlow 被斜刺里杀出的 PyTorch 打了个措手不及，整个行业都在期待 Jeff Dean 力挽狂澜，祭出一记大杀器扭转乾坤。

今天是 OneFlow 开源的 610 天，OneFlow v0.7.0 正式发布。欢迎下载体验最新版本：https://github.com/Oneflow-Inc/oneflow

日前，英伟达在GTC大会上发布了最新一代GPU H100，采用台积电4nm工艺，集成了800亿个晶体管。3月初，苹果发布了M1 Ultra芯片，更是集成了高达1140亿个晶体管。显然，头部厂商都在推进现有芯片设计和制造技术的极限，但问题是，当这些“花招”用完后怎么办？