Skip to content

NIPS 2018 见闻

Jump to bottom Edit New page
Yi Wang edited this page Dec 8, 2018 · 4 revisions

这次 NIPS 2018 期间，和一下团队以及个人交流，让我惊叹于深度学习系统的演化速度。了解的三方面的信息，摘要如下：

  • Facebook 基于 PyTorch 构建 ecosystem 的战略。信息来源

    • 贾扬清
    • 乔林：Caffe2 项目的senior manager
    • 郑小强：在TensorFlow 有过三年 GPU优化经验

  • 深度学习系统从 库/框架 向 编程语言发展

    • 洪明胜 Swift for TensorFlow 项目的第二负责人
    • Julia Flux 项目团队
    • 微软的深度学习编程语言几位来自不同团队的相关工程师

  • AI 在垂直领域的落地

    • Element.ai 团队
    • Eric Xing

分别详述

Facebook PyTorch

  • 构建生态

    • 想做 SQL 和 DL 的结合。但是还没有开始。比 Julia 提出这个想法略晚，执行也落后于 SQLFlow。
    • 想做分布式训练。但是 FAIR 的团队坚持 HPC 思路，AI Infra 有工业分布式计算经验的团队集中力量于 Facebook 自己的集群管理系统，没有 target Kubernetes 这样的开发环境。基于 Ray 的 online learning 和 基于 Kubernetes 的 ElasticDL 也更领先。

  • 核心技术研发

    • 大量 TensorFlow 贡献者加入 Facebook，做 PyTorch 和 图 的结合。一方面让成熟技术进入 PyTorch 助力 PyTorch 的产品化，一方面冲淡了 PyTorch 独到的特点，使得 PyTorch 没有向原定的编程语言和编译器方向进展。
    • 有团队在做类似 TVM 和 NNVM 的工作，但是还是基于 图的；而 NNVM 2 已经在更接近新的编程语言，预计两年后才发布，目标远大。

深度学习编程语言

深度学习编程语言势不可挡

Add a custom footer
Add a custom sidebar
Clone this wiki locally