新智元 关注
手机版

【代码+教程】重现“世界模型”实验,无监督方式快速训练

  1. 云栖社区>
  2. 新智元>
  3. 博客>
  4. 正文

【代码+教程】重现“世界模型”实验,无监督方式快速训练

技术小能手 2018-06-13 16:01:58 浏览220 评论0

摘要: “世界模型”(World Models)是谷歌大脑研究科学家 David Ha 和 Swiss AI Lab 负责人 Jürgen Schmidhuber 共同提出的一个为强化学习环境构建的神经网络模型。

“世界模型”(World Models)是谷歌大脑研究科学家 David Ha 和 Swiss AI Lab 负责人 Jürgen Schmidhuber 共同提出的一个为强化学习环境构建的神经网络模型。世界模型可以通过无监督的方式快速训练,让人工智能在 “梦境” 中对外部环境的未来状态进行预测,大幅提高了完成任务的效率。这篇论文一经发布就引发了热烈讨论。

近日,论文作者之一的 David Ha 公布了重现世界模型实验的一种方法,本文带来分步解读。GitHub 上的参考 TensorFlow 模型:https://github.com/hardmaru/WorldModelsExperiments

已有其他人独立实现了世界模型。Keras 有一个实现再现了 CarRacing-v0 实验的一部分。PyTorch 也有一个项目,试图在 OpenAI Retro Sonic 环境中实现此模型。

关于世界模型,我们已经在原始的交互式的论文中作了充分的讨论,在此不再详细解读论文。

World Models 论文:https://worldmodels.github.io/

软件设置

我使用以下设置测试代码:

d47e62d2b349aca45e42305ed6714efbe5ed61d9Ubuntu 16.04
d47e62d2b349aca45e42305ed6714efbe5ed61d9Python 3.5.4
d47e62d2b349aca45e42305ed6714efbe5ed61d9TensorFlow 1.8.0
d47e62d2b349aca45e42305ed6714efbe5ed61d9NumPy 1.13.3
d47e62d2b349aca45e42305ed6714efbe5ed61d9VizDoom Gym Levels
d47e62d2b349aca45e42305ed6714efbe5ed61d9OpenAI Gym 0.9.4(Gym 1.0+ breaks VizDoom,可以适用于 CarRacing 任务)
d47e62d2b349aca45e42305ed6714efbe5ed61d9cma 2.2.0
d47e62d2b349aca45e42305ed6714efbe5ed61d9mpi4py 2,请参阅我们为此项目分配的 estool
d47e62d2b349aca45e42305ed6714efbe5ed61d9Jupyter Notebook,用于模型测试和跟踪进度

我使用 OS X 进行推理,但使用 Google Cloud VM 训练模型。我在 P100 GPU 实例上训练了 V 和 M 模型,使用 CMA-ES 在纯 CPU 实例上训练了具有 64 个 cpu-cores(n1-standard-64)的控制器 C。以下将概述哪部分训练需要 GPU,哪些部分仅使用 CPU,并尝试降低运行此实验的成本。

运行预训练模型

你只需要将 repo 克隆到以 CPU 模式运行的台式电脑上,使用 repo 中提供的预训练好的模型来重现结果。不需要 Clould VM 或 GPU。

CarRacing-v0

如果你使用的是 MacBook Pro,我建议将分辨率设置为 “更多空间”,因为 CarRacing-v0 环境呈现的分辨率较高,并且不符合默认的屏幕设置。

e3ce981974f068d8d65028dc8c663a2a6e8e4742

在命令行中,进入 carracing 子目录。尝试自己玩游戏,在终端中运行 python env.py。你可以使用键盘上的四个箭头键来控制汽车。按(上,下)进行加速 / 制动,(左 / 右)进行转向。

99f62b71b39deff6ce8166995039e91cc714d1ac

在这个环境下,每次运行都会生成一个新的随机轨迹。虽然如果我非常仔细地开车,可以轻松获得 800 分以上的分数,但 900 分以上就很难。斯坦福大学有些学生也发现难以持续高于 900 分。解决这一环境的要求是在 100 个连续的随机路径上平均获得 900 分。

要运行一次预训练的模型并以完全渲染模式查看 agent,请运行:

python model.py render log/carracing.cma.16.64.best.json

在无渲染模式下运行预训练的模型 100 次(在无渲染模式下,由于需要使用 OpenGL 为该环境提取像素信息作为观测值,因此仍然会在屏幕上渲染出更简单的东西):

python model.py norender log/carracing.cma.16.64.best.json

该命令将在 100 次试验后输出每 100 次试验的分数,它也会输出平均分和标准差。平均分数应该在 900 以上。

要在使用 M 生成的环境中运行预训练好的控制器,并使用 V 进行可视化:

python dream_model.py log/carracing.cma.16.64.best.json

7de534012a543d03b9a1b14ba3476d91be487c9d

DoomTakeCover-v0

在 doomrnn 目录中,在由 M 生成的环境中运行 python doomrnn.py

0db2f58ef32fdb001e08a08379b4d18fd7ceafa8

你可以按左、下或右在这个环境中玩游戏。要可视化在真实环境中运行的预训练模型,请运行:

python model.py doomreal render log/doomrnn.cma.16.64.best.json

0aee47c1b281b8fbc8752b621977cf626421514a

请注意,除了重构帧和游戏的实际帧之外,还会修改环境以显示裁剪后的 64 x 64 px 的帧。要在实际环境中运行模型 100 次并计算平均分数,请运行:

python model.py doomreal norender log/doomrnn.cma.16.64.best.json

你应该在 100 次随机 episodes 中获得超过 900 时间步的平均分数。如果你想要获取 agent 在生成环境中玩游戏的统计信息,则可以使用 doomrnn 代替 doomreal,上面这两行代码仍然工作。如果你想更改生成环境的温度,请修改 doomrnn.py 中的常量 TEMPERATURE,当前的设置是 1.25。

要可视化在生成环境中玩游戏的模型,请运行:

python model.py doomrnn render log/doomrnn.cma.16.64.best.json

711c77865ef2592a021388e2171a11e58e3c0643

从头开始训练

DoomTakeCover-v0

我们先讨论 VizDoom 实验,因为这个实验从头开始实现需要的计算较少。 由于你可能会更新 repo 中的模型,因此我建议 fork 这个 repo 并在你的 fork 中 clone/update。我建议在 tmux 会话中运行任何命令,以便关闭 ssh 连接时作业仍将在后台运行。

先创建一个具有~200GB 存储容量和 220GB RAM 的 64 核 CPU 实例,并在该实例中克隆 repo。 在 doomrnn 目录中,有一个名为 extract.py 的脚本,它将从 random policy 中提取 200 episodes,并在 doomrnn / record 中保存为 .npz 文件。名为 extract.bash 的 bash 脚本将运行 extract.py 64 次,因此通过运行 bash extract.bash,我们将在 doomrnn / record 中生成 12800 个 .npz 文件。有些情况可能会随机失败,所以我们产生了一些额外的数据,尽管最终我们只用了 10000 episodes 来训练 V 和 M。这个过程需要几个小时(可能不用 5 小时)。

在 record 子目录中创建 .npz 文件之后,我创建了一个具有~200GB 存储空间和 220GB RAM 的 P100 GPU 实例,并在其中克隆了该 repo。我使用 ssh copy 命令 scp 将 CPU 实例中的所有 .npz 文件复制到 GPU 实例的同一个 record 子目录中。如果 scp 不起作用,你可以使用 gcloud 工具。如果两个实例在同一个区域中,这应该会非常快,不到一分钟。将. npz 文件复制到 GPU 机器后,请关闭 CPU 实例。

在 GPU 机器上,运行命令 bash gpu_jobs.bash 来训练 VAE,预处理录制的数据集并训练 MDN-RNN。

这个 gpu_jobs.bash 将按顺序运行以下三项:

1)python vae_train.py——这将训练 VAE,并且在训练后,模型将被保存在 tf_vae / vae.json 中

2)接下来,它将通过启动:python series.py,使用预训练的 VAE 预处理收集的数据。一个新的数据集将在一个名为 series 的子目录中创建。

3)接下来,保存一个名为 series.npz 的数据集,脚本将使用以下命令启动 MDN-RNN 训练器:python rnn_train.py。这将在 tf_rnn / rnn.json 和 tf_initial_z / initial_z.json 中生成一个模型。initial_z.json 文件保存了生成环境时所需的 episode 的初始潜在变量(z)。整个过程可能需要 6~8 小时。

d4bd3525783142271a4a579cc193066c4ebce6d4

notebook “vae_test.ipynb” 将在训练数据集上使用 VAE 对输入 / 重建图像进行可视化。

V 和 M 训练完毕后,你将得到 3 个新的 json 文件,现在必须将 vae.json,initial_z.json 和 rnn.json 复制到 tf_modelssub 目录并覆盖以前的文件。你应该使用 git add doomrnn / tf_models / *. json 来将这些新模型更新到 git repo,并将更新提交给你的 fork。完成这个操作后,可以关闭 GPU 机器。你需要再次启动 64-core CPU 实例,然后重新登录机器。

现在,在 64-core CPU 实例上,运行基于 CMA-ES 的训练,在 doomrnn 目录中启动 python train.py 命令。这将启动 trainer 并继续训练,直到 Ctrl-C 这个工作。控制器 C 将在 M 的生成环境中以 1.25 的 temperature 进行训练。你可以通过加载正在生成的日志文件的 plot_training_progress.ipynb notebook 来监视进度。经过 200 次迭代(或大约 4-5 小时)后,应该足以获得可观的结果,就可以停止了。我在接近 1800 次迭代后停止,尽管它在 200 次之后就没有真正增加价值了,所以可以不用浪费钱。将 log / *. json 中的所有文件添加到已经 fork 的 repo 中,然后关闭实例。

de3b4c1873edd000e134584cc2cd62397935fccb

图:使用 CMA-ES 训练 DoomRNN,在生成的环境中记录 C 的性能

使用你的桌面实例,并再次 pull 已经 fork 的 repo,现在可以运行以下代码来测试新训练的 V,M 和 C 模型。

python model.py doomreal render log/doomrnn.cma.16.64.best.json

你可以用 doomrnn 替换 doomreal 或者渲染为 norender 来尝试生成的环境,或者尝试 agent 100 次。

CarRacing-v0

CarRacing-v0 的过程与前面的 VizDoom 示例几乎相同,因此本节主要讨论有差异的地方。

由于 CarRacing-v0 的环境是使用 OpenGL 构建的,因此即使在 gym 环境的无渲染模式下,它也依赖于图形输出,因此在 CloudVM box 中,必须用 headless X 服务器来包装命令。你可以在 carracing 目录下的 extract.bash 文件中看到,在真正的命令之前运行 xvfb-run -a -s "-screen 0 1400x900x24 +extension RANDR" 。除此之外,收集数据和训练 V 和 M 模型的过程与 VizDoom 相同。

请注意,在训练 VAE 和 MDN-RNN 模型后,必须分别将 vae.json,initial_z.json 和 rnn.json 复制到 vae,initial_z 和 rnn 目录(而不是像 DoomRNN 中复制到 tf_models),并覆盖以前的文件,然后照常更新 forked repo。

b74a7e5027dc1444acbfe9131623cedd6dda1627

图:vae_test.ipynb 用于检查在 CarRacing-v0 提取的数据上训练的 VAE。

在这个环境下,我们使用 V 和 M 模型作为模型预测控制(MPC),并在实际环境中训练控制器 C,而不是在生成环境里训练。 因此,你需要运行 gce_train.bash,而不是运行 train.py。因为我们在实际环境中训练,与 DoomRNN 相比,训练速度较慢。由于是在 tmux 会话中运行训练,你可以通过在另一个 tmux 会话中并行运行 Jupyter 来使用 plot_training_progress.ipynb notebook 监控进度,这会加载正在生成的日志文件。

48c5e411dc4232a367b52d5706e7569106753047

图:使用 CMA-ES 训练 CarRacing-v0。记录 C 在实际环境中的性能。

在 150-200 generations(或大约 3 天)之后,应该足以达到~880 的平均分数,非常接近想要的 900 分。如果你对 850 + 分就满意了,建议这时就可以停下来。定性地说,与最终 agent 达到 900 + 分相比,850-870 的分数并没有很糟糕,我不想在云上浪费血汗钱。获得 900 + 分可能需要数周。最终模型以 log / *. json 格式保存,你可以按通常的方式进行测试和查看。

贡献

有很多很酷的想法可以尝试,例如,迭代训练方法,迁移学习,intrinsic motivation,以及其他环境。

6da784d0aebf69242f59a3e947ab2f73410d8394

图:A generative noisy pixel pendulum environment?

如果你想扩展代码并尝试新的东西,我建议修改代码并尝试解决特定的新环境,而不是尝试改进代码以同时在多个环境中工作。我发现对于研究工作,如果要尝试解决困难的环境,通常需要特定的自定义修改。欢迎提交带有独立子目录的 pull request,子目录可以针对你尝试解决的特定环境量身定制,并在子目录的 README.md 文件中说明。

阅读材料:

建议在尝试重现实验之前阅读以下文章,以获取一些背景知识。

d47e62d2b349aca45e42305ed6714efbe5ed61d9World Models 论文:https://worldmodels.github.io/
d47e62d2b349aca45e42305ed6714efbe5ed61d9A Visual Guide to Evolution Strategies:blog.otoro.net/2017/10/29/visual-evolution-strategies
d47e62d2b349aca45e42305ed6714efbe5ed61d9Evolving Stable Strategies:blog.otoro.net/2017/11/12/evolving-stable-strategies/

以下是可选阅读材料:

d47e62d2b349aca45e42305ed6714efbe5ed61d9Mixture Density Networks:blog.otoro.net/2015/06/14/mixture-density-networks/
d47e62d2b349aca45e42305ed6714efbe5ed61d9Mixture Density Networks with TensorFlow:blog.otoro.net/2015/11/24/mixture-density-networks-with-tensorflow/

如果你不熟悉 Variational Autoencoders,请阅读以下教程:

d47e62d2b349aca45e42305ed6714efbe5ed61d9Variational Autoencoder in TensorFlow:https://jmetzen.github.io/2015-11-27/vae.html
d47e62d2b349aca45e42305ed6714efbe5ed61d9Building Autoencoders in Keras:https://blog.keras.io/building-autoencoders-in-keras.html
d47e62d2b349aca45e42305ed6714efbe5ed61d9Generating Large Images from Latent Vectors:blog.otoro.net/2016/04/01/generating-large-images-from-latent-vectors/

如果你不熟悉连续序列生成的 RNN,请阅读以下材料:

d47e62d2b349aca45e42305ed6714efbe5ed61d9Generating Sequences With Recurrent Neural Networks:https://arxiv.org/abs/1308.0850
d47e62d2b349aca45e42305ed6714efbe5ed61d9A Neural Representation of Sketch Drawings:https://arxiv.org/abs/1704.03477
d47e62d2b349aca45e42305ed6714efbe5ed61d9Handwriting Generation Demo in TensorFlow:blog.otoro.net/2015/12/12/handwriting-generation-demo-in-tensorflow/

d47e62d2b349aca45e42305ed6714efbe5ed61d9Recurrent Neural Network Tutorial for Artists:blog.otoro.net/2017/01/01/recurrent-neural-network-artist/


原文发布时间为:2018-06-13

本文作者:David Ha

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:【代码+教程】重现“世界模型”实验,无监督方式快速训练

用云栖社区APP,舒服~

【云栖快讯】云栖社区技术交流群汇总,阿里巴巴技术专家及云栖社区专家等你加入互动,老铁,了解一下?  详情请点击

网友评论

技术小能手
文章3823篇 | 关注963
关注
为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效... 查看详情
RDS是一种稳定可靠、可弹性伸缩的在线数据库服务。支持MySQL、SQL Server、Po... 查看详情
阿里中间件云大使

阿里中间件云大使