选自Medium

目录

研究论文

机器学习/自然语言处理的创造力和社群

工具和数据集

博文文章

教程资源

人工智能伦理学

研究论文
2019年，谷歌人工智能团队带来了

ALBERT

，它是用于情境化语言表征的自监督学习模型

BERT

的精简版。主要的改进在于减少了冗余，更加有效地分配了模型的性能。此方法在12个自然语言处理任务上达到了当前最佳性能（SOTA）。
2018年底，英伟达的研究者们发表了一份热门论文(AStyle-BasedGeneratorArchitectureforGenerativeAdversarialNetworks)（取名为

StyleGAN

），提出了对抗生成网络的另一种生成器架构，灵感来自于风格迁移问题。2019年，这份工作有了更新(

AnalyzingandImprovingtheImageQualityofStyleGAN

)，着重研究了诸如重新设计生成器正则化的过程等方面。

量子计算机

，速度比世界上最大的超级计算机更快。
之前提到过，可解释性是神经网络架构里需要大幅改进的一个领域。这篇论文(

AttentionisnotnotExplanation

)讨论了在语言模型的情境下，注意力机制作为可解释性的一种可靠方法所具有的局限性。
神经逻辑机(

NeuralLogicMachines

)是一种神经符号网络架构，在归纳学习和逻辑推理上效果都不错。这个模型尤为擅长数组排序和寻找最短路径之类的任务。

OnExtractiveandAbstractiveNeuralDocumentSummarizationwithTransformerLanguageModels

)，把Transformer语言模型应用到了抽取式和摘要式Neuraldocumentsummarization。
研究者们开发出了一种方法，着重于利用比较来打造和训练机器学习模型。这种方法(
)不需要大量的特征-标签对，它将图像与之前见过的图像相比较，以判定这张图像是否应该属于某个标签。
NelsonLiu等发表的论文(LinguisticKnowledgeandTransferabilityofContextualRepresentations)讨论了BERT和ELMo等预训练的语境模型所捕捉到的语言学知识类型。

XLNet

ContextualWordRepresentations:AContextualIntroduction

)是情境化词表征的精简版入门读物。
机器学习/自然语言处理的创造力和社群
机器学习被用于解决真实世界的各种问题，同时它也被用在了一些有趣且有创造力的地方。机器学习的创造力和人工智能的任何其他研究领域同样重要，因为最终，我们希望造出能够帮助我们塑造文化和社会的人工智能系统。
到了年末之际，GaryMarcus和YoshuaBengio在深度学习、符号人工智能和混合型人工智能系统的想法等议题上进行了

辩论

。

2019斯坦福年度AI报告

于年底面世，报告中对于人工智能现状全面的分析可以帮助我们更好地理解人工智能的整体进程。
常识推理仍旧是一个重要的研究领域，因为我们想要建造的人工智能系统，不仅应该能基于数据做预测，还应该理解这些决定并对它们进行推理。这类技术可以用于对话式人工智能，其目的是使得智能代理能够自然地和人们进行对话。看看NasrinMostafazadeh的这份采访(
)。
他在采访中讨论了常识推理以及讲故事、语言理解等应用。你也可以看看这篇关于如何在常识推理中运用语言模型的新论文(ExplainYourself!LeveragingLanguageModelsforCommonsenseReasoning)。

激活图谱

是谷歌和OpenAI的研究者们开发的一项技术，用于更好地理解和可视化神经网络中神经元之间发生的交互。

InceptionV1的图像分类网络的激活图谱展示了很多完全实现的特征，如电子产品、建筑物、食物、动物的耳朵、植物和多水的背景。图来：博文

看一下GeoffreyHinton和YannLeCun出品的这份图灵课程(
)，今年他俩和YoshuaBengio一起获得了

图灵奖

。
这篇论文(TacklingClimateChangewithMachineLearning)讨论了如何用机器学习应对气候变化。
OpenAI发表了一篇涉及面很广的报告(ReleaseStrategiesandtheSocialImpactsofLanguageModels)，讨论了语言模型的社会影响力，包括合理使用以及潜在的技术滥用等主题。
情绪分析仍然被用于各种各样的应用。TheMojifier()是一个很酷的项目，它可以查看图像并检测其中的情绪，然后把脸替换成检测到的情绪所对应的表情符号。
今年将人工智能技术应用于放射学的研究也十分热门。这里有篇不错的文章(Radiologicalimagesandmachinelearning:trs,perspectives,andprospects)总结了这个研究领域的趋势和展望。纽约大学的研究者们发布了一个基于Pytorch的深度神经网络(
jasonphang/deep-neural-networks-improve-radiologists-performance-in-breast-cancer-screening-565eb2bd3c9f)，能够改进放射科医生对乳腺癌的筛查。这里还发布了一个重要的数据集，叫作MIMIC-CXR(
)，其中包含了X光胸片和放射学文本报告的数据库。
写了一篇报道(
)，记叙了KarenSparkJones在自然语言处理和信息检索领域做出的具有开创性的贡献。
OpenAIFive(
)成为首个在电竞游戏上打败世界冠军的人工智能系统。

全球人工智能人才报告

对于世界范围内的人工智能人才储备，以及全球对人工智能人才的需求做了一份详细的汇总。
DeepMind团队的播客(
%7B%22category%22:%5B%22Podcasts%22%5D%7D)值得一看。这个节目的嘉宾们会讨论人工智能当下最为紧迫的话题。关于人工智能的潜力，DemisHassbis在经济学人做了一个访谈(
;utm_source=inf-autm_campaign=worldin)，谈论了一些未来学的想法，比如把人工智能作为人类大脑的延伸，或许能以此解决一些重要的科学问题。
2019同样见证了机器学习在健康领域的卓越发展。比如，麻省总医院（波士顿综合性医院）的研究者们开发了一个可以识别脑出血的人工智能系统(
)，精度可以达到人类水平。

人工智能系统分析的脑部扫描
JanelleShane总结了一组「奇怪」的实验(
)，展示了机器学习如何地被应用于各种有趣的实验。有时候，这种实验能帮助我们真正理解人工智能系统到底在干什么，以及没有在干什么。有些实验涉及把神经网络用于生成假蛇，或者讲笑话。

AlexanderRush是一位哈佛的自然语言处理研究者，他写了一篇关于张量问题的

重要文章

，以及它们在当前的库上是如何暴露出来的。他也谈论了关于把命名索引用于张量的提议。
工具和数据集
这里我主要记录一些和软件以及数据集有关的故事，这些软件和数据集对自然语言处理和机器学习的研究和工程化起到了协助作用。
HuggingFace发布了一个热门的Transformer库(
)，基于Pytorch，名为pytorch-transformers。它使得自然语言处理从业者和研究者能够简单地使用最先进的通用架构，诸如BERT、GPT-2和XLM等。
如果你对如何使用pytorch-transformers感兴趣，你可以从很多地方开始着手。不过这篇RobertoSilveira的教程(
)非常详尽，告诉你如何把这个库用于机器阅读理解，我特别喜欢。

发布了，

有许多新的功能

。在这里可以读到最佳使用方法(
)。FrançoisChollet还在这个Colab笔记本(
)中写了一篇关于新功能的全面综述。

发布了，多了一大堆的新功能，其中包括命名张量和其它前端的改进。
艾伦人工智能研究所发布了Iconary(
)，这是一个可以和人类玩猜图游戏的人工智能系统。这项工作结合了图像/语言学习系统和常识推理。他们还发表了一个新的常识推理基准(AbductiveCommonsenseReasoning)，名为Abductive-NLI。
spaCy发布了新的库(
)，支持把Tranformer语言模型结合到他们自己的库中，从而能够在spaCy自然语言处理体系中提取特征并加以运用。这项工作基于HuggingFace开发的著名Transformer库。MaximilienRoberti还写了一篇不错的文章(
)，讲述如何把的代码和pytorch-transformers结合起来。
Facebook人工智能团队发布了PHYRE()，这是一个物理推理的基准，目标是通过解决各种物理问题，测试人工智能系统物理推理的能力。

斯坦福的自然语言处理组发布了(
)版本，这是一个用于自然语言分析的Python库。你可以在70多种不同的语言上进行不同的语言分析，比如词形还原和词性标注。
GQA(
)是一个视觉问答数据集，协助在视觉推理方面的研究。
exBERT（exBERT:AVisualAnalysisTooltoExploreLearnedRepresentationsinTransformersModels）是一个可视化交互工具，探索Transformer语言模型的嵌入向量和注意力。你可以在这里()尝试demo。

Mathpix

()这个平台拥有许多知名数据集，涉及各项研究，包括对话和对话式人工智能。
Uber的研究者们发布了Ludwig(
)，这个开源的工具使得用户们能够简单地训练和测试深度学习的模型，只要写几行代码即可。主要是为了避免训练和测试模型时的代码量。
谷歌人工智能团队发布了

「自然问题」数据集

AndrejKarpathy写了一篇博客

ChipHuyen写了一篇有趣的文章讨论了机器学习系统设计，强调了超参数调优和数据管道

。

NVIDIA创造了最大语言模型的记录

它甚至引起了心理学和神经科学领域人员的兴趣

2019预测列表

教程资源
在这一章，我将列出一系列教程资源。
CMU发布了「NLP神经网络」

课程材料和教学大纲

。
ElvisSaravia和SoujanyaPoria发布了一个名为

NLP-Overview

入门机器学习的免费在线课程清单

介绍了如何实现不同的深度学习模型

，如RNN和CNN。重要的是，所有模型都已在PyTorch和TensorFlow中实现。
教程（
d3lm/understand-tensorflow-by-mimicking-its-api-from-scratch-faa55787170d）能够帮你深入了解TensorFlow的工作原理。

ChristianPerone为PyTorch设计了一个项目

数据表示

NeurlPS2019的综述

。
李沐的《

动手学深度学习

》是一本很棒的书，它向读者介绍了有关深度学习的相关内容。

与线性代数和神经网络有关的新书

如何理解矩阵和张量

。本文以可视化效果编写，有助于更好地理解在矩阵上执行的某些转换和操作。