脸书发布了一种新的机器学习方法Expire-Span，该方法的重点，是让机器学习可以实现人类记忆的特性–遗忘，官方提到，这是一个创新的方法，让神经网络具有大规模遗忘的能力，与标准模型相比，新型神经网络的存储容量高了一个量级。
赋给神经网络遗忘的能力，是受人类记忆特性启发，研究人员提到，人们每天都会收到无穷尽的消息，但是大部分会被遗忘，人们需要经常忘记日常琐事的能力，才能在记忆中腾出空间，记住重要的事情。
大多数神经网络和人类记忆不同，神经网络通常不会区别记忆的重要性，进行无差别处理，研究人员表示，这样的方法在小规模运行可行，但是当前人工智能需要处理越来越多的信息，因此带来了无法负荷的计算成本。
因此脸书发展出了会遗忘的神经网络Expire-Span，该神经网络运行原理，是要预测与当前任务最相关的消息，并且根据上下文，Expire-Span会对每条消息分配一个到期日，就像是食物的保存期限一样，在该日期之后，消息便会从人工智能系统中消失。越重要的消息留存越久，越无关紧要的消息则越快过期，如此人工系统被能拥有更多的存储空间，能够处理更大规模的信息。
脸书举例，当指定人工智能寻找黄色门的任务，在像是Standard Transformers等模型，会不加选择地记下每个时步的信息，以便寻找黄色门。研究人员提到，这个过程通常存在过多的信息，因此人工智能代理可以选择遗忘不必要的消息，并且只记住任务描述的第一个影格就好。这种方法在字符层级的语言模型被广泛使用，并且被用来改善具有较长背景信息的任务，像是语言模型和增强学习等。
会遗忘的人工智能其一大挑战是离散的运算，也就是说，不是忘记就是记得，只有这两种状态，但要优化离散运算非常困难，研究人员解释，这就是为什么大部分系统都是不加选择地，直接处理完整信息，过去解决这个问题的方法，着重于压缩上，期望把资料压缩的更小，尽管这可以使模型扩展到更长的时间范围，但是压缩却会模糊重要的信息。
而Expire-Span的优点，便是能够逐渐忘记不相关的消息，并且以高性能的方式，不断优化这类离散运算。神经网络会以时间串行的方式呈现单词、图像或是视频影格，Expire-Span会在每次处理新消息的时候，对每种隐藏状态计算一个过期时间，作为该消息存储在内存的保存期限。
研究人员表示，让部分消息逐渐衰退，是保持重要消息不模糊的关键，而模型可根据需要，调整时间区间的大小。Expire-Span能够处理成千上万条信息，但是留下少于一千位元的消息，与其他方法相比，Expire-Span的性能与效率都更好。
Expire-Span的灵感来自人类保留记忆的方式，同样的Expire-Span可以让人工智能保留对任务有用的信息，进而忽略无用的消息，研究人员提到，人类的记忆非常复杂，Expire-Span目前专注于处理过去经验的记忆，但人类还有其他许多类型的记忆，他们正在研究该如何集成到神经网络中。