pos机打叉号怎么解决(降低强化学习的门槛强化学习实验环境搭建教程（收藏干货）)

快鱼网 2023年02月20日 10:48:59 13 0

强化学习实验环境搭建

“加油!向前冲!做了再说!”

“Go for it! Just do it! ”

一、安装Mujoco

(1)安装并解决依赖包问题

直接使用pip安装

pip install mujoco_py -i

出现“Building wheel for mujoco-py(PEP 517) ... error”,于是需要执行如下命令。

yum install mesa-libOSMesa

yum install mesa-libOSMesa-devel

wget -c

（2）注册许可

首先进入github

找到安装位置

安装网址为

选中liunx

点击后会出现

在下载文件夹内找到下载好的getid_linux

根据官方建议，可先进行30天的免费试用

在文件处---右键---在终端打开

查看文件

改变文件执行权限

chmod +x getid_linux

可以看到，文件此时已经变成绿色，表示可执行，执行文件，获得电脑id

将此电脑id复制下来新建文本，存好，在后面注册步骤中要用到

填写姓名，邮件地址后，将刚刚复制存好的电脑id粘贴进来，并勾选同意协议，最后点击submit选择提交

提交后，会出现以下界面

此时已经注册成功，并拿到了Mujoco的试用许可证，Mujoco官网已经将激活密钥发送到了我们注册时所填的邮箱。

进行查看，其中包含“LICENSE.txt”和“mjkey.txt”两个文件

我们将LICENSE.txt和mjkey.txt下载，保存到本地。

进入官网

下载对应的版本我们选择“mjpro 150 linux”

找到下载的目录

在文件所在位置处，打开终端，

查看文件

创建一个隐藏的文件夹，并将mjpro150_linux 拷贝到 mujoco 文件夹中，也可以设置不隐藏文件夹。（个人比较喜欢隐藏配置文件，因为文件夹多了会很乱，这个是个安装文件夹没必要显示，可根据个人喜好选择是否隐藏）

将下载好的安装包复制到建好的文件夹中

mkdir ~/.mujoco

cp mjpro150_linux.zip ~/.mujoco

进入创建好的文件夹中,并查看文件是否复制成功

cd ~/.mujoco

解压文件

找到密钥下载的位置，右键--在终端打开

将密钥复制到创建的隐藏mujoco文件夹中

cp mjkey.txt ~/.mujoco

cp mjkey.txt ~/.mujoco/mjpro150/bin

添加环境变量：用gedit或vim 打开~/.bashrc 文件,

将以下命令添加进去，并点击保存

export LD_LIBRARY_PATH=~/.mujoco/mjpro150/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}

关闭.bashrc文件，进入mjpro150执行文件夹bin中

cd ~/.mujoco/mjpro150/bin

（3）模拟测试

开始执行模拟测试

./simulate ../model/humanoid.xml

测试过程中出现问题，找不到共享的测试文件

列出simulate相关库，进行查看

ldd simulate

背景补充：ldd是list, dynamic, dependencies的缩写，意思是，列出动态库依赖关系。

检查发现，相关库基本齐全，仔细分析上述错误，得出结论，我们刚才虽然添加了环境变量但是却没有让其生效。

执行source bashrc 初始化或是重新打开一个终端再执行命令即可

source ~/.bashrc

再次执行模拟测试

可以看到，此时已经执行了模拟测试，但是被终端挡住了，我们将终端最小化,进行查看。

可以看到，模拟测试成功！

这是一个叫做“humanoid”的模拟测试，通过滑动鼠标滚轮，我们可以调整视距大小。

远距离视距

近距离视距

单击鼠标左键不松，上下左右拖动，即可获得不同的视角信息

侧面视角

仰望视角

俯视视角

点击右上角的叉号即可关闭测试。

二、mujoco_py的安装

（1）下载

在github上直接搜索“mujoco_py”找到code,点击下载

选择保存文件

打开文件所在的位置

找到后直接双击，点击提取（也可以像安装mujoco那样先新建文件夹，复制后再解压）

点击左侧目录可以选择位置，选好位置后，点击右侧“提取”。

提取成功后关闭文件

打开提取好的文件

进入该文件夹后，右键----在终端打开

查看文件

（2）安装

获取root权限

su root

安装需求文件

pip install -r requirements.txt -i

安装需求的dev文件

pip install -r requirements.dev.txt -i

进入vendor文件夹并查看文件

cd vendor

执行xdummy-entrypoint文件

./Xdummy-entrypoint

返回上层目录

cd ..

开始安装

python3 setup.py install

经过操作发现默认安装的，直接就是mujoco200系列，这种安装方法对于新手用户来说十分不友好，于是我们改变策略，直接调用清华源来进行安装

pip install -U 'mujoco-py<1.50.2,>=1.50.1' -i --trusted-host pypi.tuna.tsinghua.edu.cn

此时系统便会帮你自动安装所需要依赖包

可以看到只需这一条命令，我们便可以成功安装mujoco-py

（3）测试

输入以下代码，开始测试

python

import mujoco_py

import os

mj_path, _ = mujoco_py.utils.discover_mujoco()

xml_path = os.path.join(mj_path, 'model', 'humanoid.xml')

model = mujoco_py.load_model_from_path(xml_path)

sim = mujoco_py.MjSim(model)

print(sim.data.qpos)

sim.step()

print(sim.data.qpos)

有数字输出的基本表示正常。

下面我们开始测试样例，返回之前下载好的目录，找到mujoco-py-master文件夹。

进入mujoco-py-master文件夹，之后右键-----打开终端

终端打开后，进入样例文件夹，并查看文件

cd examples

可以看到，一共有11个样例

运行第一个样例：python body_interaction.py

这个实验需要注意，需要按下键盘右侧方向键，才可以一步一步执行，不然很快圆柱体就从上方滑下去了。

第二个样例：python mjvive.py 执行后发现没有openvr包

安装openvr包由于配置的python3.5暂不能运行（后期会进行补充实验，大家有兴趣的可以持续关注这个实验）

第三个样例：python setting_state.py

运行后

其余的案例不再一一演示，如果你对其它例子感兴趣，可以自行尝试运行

命令为python xxxx.py。

三、安装Gym

在github中找到gym安装包

点击下载

下载后将文件解压

进入gym-master文件夹，右键---终端打开

进入需要安装的虚拟环境

source activate sd3

开始安装

pip install -e '.[all]'

出现错误python版本过低，该怎么办呢？难道重新安装吗？

大可不必！

我们直接在虚拟环境中更新pyhton

conda install python==3.6

出现确认进程时，选择y即可，安装完成后输入python即可看到，我们已经成功将虚拟环境的python更新为3.6。

再次开始安装，再次输入命令

pip install -e '.[all]'

中间会出现错误，不用管它，最后可以看到，我们已经成功安装gym及其依赖包。