wordpress安装到网站,vs python 网站开发,网站毕业设计开题报告,aspcms手机网站模板目录
Isaac Sim介绍
OmniIssacGymEnvs安装
SKRL安装与测试
基于UR5的机械臂Reach强化学习测评
机器人控制
OMNI GYM环境编写
SKRL运行文件
训练结果与速度对比
结果分析
运行体验与建议 Isaac Sim介绍 Isaac Sim是英伟达出的一款机器人仿真平台#xff0c;适用于做机…
目录
Isaac Sim介绍
OmniIssacGymEnvs安装
SKRL安装与测试
基于UR5的机械臂Reach强化学习测评
机器人控制
OMNI GYM环境编写
SKRL运行文件
训练结果与速度对比
结果分析
运行体验与建议 Isaac Sim介绍 Isaac Sim是英伟达出的一款机器人仿真平台适用于做机器人仿真。同类产品包括mujocovrep和pybullt等它的主要优势就是可以做并行强化学习仿真这对于提高训练效率是非常有好处的。 作者使用的版本是 ISAAC SIM 2023.1因为isaac sim每次版本的迭代变化都很大而isaac 4.0 又是大更改因此我还是在2023.1版本上进行测试的。 之前使用isaac sim没有进行并行化训练原因就是如果想用并行化训练单纯使用isaac sim是搞不出来的还要搭配另外的环境例如2023.1就要使用OmniIsaacGymEnvs或者ORbit。如果是4.0的用户就是使用isaac lab了。
OmniIssacGymEnvs安装
IsaacGymEnvs的安装非常简单按照官方仓库readme安装即可
GitHub - isaac-sim/OmniIsaacGymEnvs: Reinforcement Learning Environments for Omniverse Isaac Gym OmniIsaacGymEnvs 提供了很多经典的强化学习训练场景最典型的就是Cartpole环境了。 安装步骤
1. git clone https://github.com/NVIDIA-Omniverse/OmniIsaacGymEnvs.git 下载仓库
2. 将默认执行的python设置为Isaac sim环境执行的python
For Linux: alias PYTHON_PATH~/.local/share/ov/pkg/isaac_sim-*/python.sh
For Windows: doskey PYTHON_PATHC:\Users\user\AppData\Local\ov\pkg\isaac_sim-*\python.bat $*
For IsaacSim Docker: alias PYTHON_PATH/isaac-sim/python.sh
3.安装 omniisaacgymenvs 模块
PYTHON_PATH -m pip install -e .
按照官方的指示这样就可以把仓库安装好了然后执行就可以测试官方给的例程。
PYTHON_PATH scripts/rlgames_train.py taskCartpole
但是注意到这里用的是rlgames作为强化学习的库这并不是一个常见的库实际上英伟达自己在论坛上在推行一个叫做SKRL的库。
SKRL安装与测试
SKRL网址Examples - skrl (1.3.0)
SKRL是英伟达自己推荐的一个强化学习库它的优势在于可以无缝衔接英伟达自己的并行仿真环境虽然说训练效果可能不如SB3好但是它适配了啊。并且在使用多智能体的时候训练速度也是挺快的。
pip install skrl[torch]
SKRL的安装按照官方的教程直接装就可以了。
这里需要特别注意的是OIGE的配置文件和rlgame是不一样的具体可以参考官方给出的example在yaml文件中要做一些修改。 把skrl官方提供的yaml文件下载下来并使用它给出的python文件运行就可以将官方给的demo跑起来了。 这里作者使用的GPU是4060TI 16G的版本
在环境中设置了4096个agent运行起来还是非常顺畅的训练了1600个回合只花了1分钟左右 另外官方提供了headless可选性当headless设置成True时就不会显示界面这时候运行速度会更加快1600个回合只需要15秒钟不到的时间即可完成。 可以看到SKRL与omni isaac gym的衔接还是比较OK的至少官方给出的例程运行起来是没什么问题的。
基于UR5的机械臂Reach强化学习测评
机器人控制
在测试完官方给出的环境后肯定是希望可以测试下自己的环境。作者自己使用的是UR5机械臂isaac sim中本身已经提供了这一款机械臂了所以模型直接下载下来就可以是usd格式的模型。 在机器人控制方面官方提供的是RMPFLOW的轨迹规划库但是RMPFLOW本身要配置很多东西官方只提供了UR10的配置文件因此这里我选用了最简单的控制方法。在网上下载了UR5的urdf文件然后使用ikpy函数库读取urdf文件并进行逆运动学求解把求解出来的关节角度再下发到模型中。这里提供我写的UR5函数控制类作为参考 from typing import Optionalimport carb
import numpy as np
import torch
from omni.isaac.core.robots.robot import Robot
from omni.isaac.core.utils.nucleus import get_assets_root_path
from omni.isaac.core.utils.stage import add_reference_to_stage
from omni.isaac.core.articulations import ArticulationView,Articulation
from omni.isaac.core.utils.types import ArticulationAction, ArticulationActions
from common import MatrixProcess as mp
from omni.isaac.core.prims import RigidPrim, RigidPrimView,XFormPrimView
import common.robot.Urik as urik
from common.robot.Ur5ik import Kinematic
import logging
class UR5(Robot):def __init__(self,prim_path: str,ik_urdfPath:str,name: Optional[str] UR5,tcpOffset_posenp.array([0,0,0]),tcpOffset_orinp.array([1,0,0,0]),usd_path: Optional[str] None,translation: Optional[np.ndarray] None,orientation: Optional[np.ndarray] None,) - None:self._usd_path usd_pathself._name nameif self._usd_path is None:self._usd_path C:\\Users\\Administrator\\AppData\\Local\\ov\\pkg\\gym\\OmniIsaacGymEnvs\\omniisaacgymenvs\\robots\\myrobots\\model\\ur5_modify.usdprint( _usd_path, self._usd_path)add_reference_to_stage(self._usd_path, prim_path)super().__init__(prim_pathprim_path,namename,translationtranslation,orientationorientation,articulation_controllerNone,)self.robot_positiontorch.tensor([translation[0],translation[1],translation[2]]).to(cuda)self.tcpoffset_pose tcpOffset_poseself.tcpOffset_quaternion tcpOffset_oriself._iksolver Kinematic()def initView(self):self._ur5_viewArticulationView(prim_paths_expr/World/envs/.*/UR5, nameur5_view, reset_xform_propertiesFalse)self._ur5_ee_viewRigidPrimView(prim_paths_expr/World/envs/.*/UR5/tool0, nameur5_ee, reset_xform_propertiesFalse)def get_view(self):return self._ur5_viewdef get_joints(self):jointsself._ur5_view.get_joint_positions()#print(joint,np.round(joints.cpu().numpy(),2))return jointsdef get_TCP_pose(self,isworld):pose,rotself._ur5_ee_view.get_local_poses()#获取机器人坐标系下的坐标xyzw?if isworldTrue:poseposeself.robot_position# 加上机器人坐标系距离原点的位移#print(pose,np.round(pose.cpu().numpy(),4))return pose,rotdef set_joints(self,Joints6D,indices):self._ur5_view.set_joint_positions(Joints6D, indicesindices)def apply_joints(self,Joints6D,indices):joints ArticulationActions(Joints6D)self._ur5_view.apply_action(joints,indicesindices)def set_pose(self, position, oriention,desire_joints, applyFalse, isworldposeTrue):applyTrue时使用applay actionisworldposeTrue时转化至世界坐标系positionposition.cpu().numpy()orientionoriention.cpu().numpy()desire_jointsdesire_joints.cpu().numpy()robot_positionself.robot_position.cpu().numpy()if (isworldpose True):position position - robot_position####根据tcp坐标反求末端坐标然后求解ikTbase_tcp positionQbase_tcp mp.qua_wxyz2xyzw_array(oriention) # xyzwTend_tcp self.tcpoffset_poseQend_tcp mp.qua_wxyz2xyzw(self.tcpOffset_quaternion)# 计算末端姿态Q_TCP_inv mp.quaternion_conjugate(Qend_tcp)Q_end mp.quaternion_multiply_array(Qbase_tcp, Q_TCP_inv)# 计算末端位置T_TCP_transformed mp.rotate_vectors_array(Qbase_tcp, Tend_tcp)T_end Tbase_tcp - T_TCP_transformedposition T_endoriention mp.qua_xyzw2wxyz_array(Q_end)##### 1,根据pose6d 计算IK jointresultself.get_iks(position,oriention,desire_joints)jointstorch.tensor(result).float().to(cuda)if (apply False):self._ur5_view.set_joint_positions(joints)else:joints ArticulationAction(joints)self._ur5_view.apply_action(joints)def get_iks(self, positions, orientions,q_desires):lenpositions.shape[0]joints[]for i in range(len):positionpositions[i]orientionorientions[i]q_desireq_desires[i]jointself.get_ik(position,oriention,q_desire)joints.append(joint)#print(np.round(joint,2))return np.array(joints)def get_ik(self, pose, ori,q_desire):输入机器人末端的目标位置计算逆运动学关节返回计算用于apply action的ArticulationActionArgs:pose: 目标位置ori: 目标方向initjoint: 用于求逆运动学的初始关节Returns:计算用于apply action的ArticulationActiontry:jointself._iksolver.inverse_kinematic_Q(posepose,oriori,q_desireq_desire)return jointexcept:return q_desire
OMNI GYM环境编写
以及自己写的reach gym环境。这个环境编写的教程现在官方的手册是看不到的如果你还是跟我一样使用2023.1版本那么你可以看下旧版本的手册是如何教你写这个的。
import logging
import math
import randomimport numpy as np
import torch
from omni.isaac.core.articulations import ArticulationView
from omni.isaac.core.utils.prims import get_prim_at_path
from omniisaacgymenvs.tasks.base.rl_task import RLTask
from omniisaacgymenvs.robots.articulations.cartpole import Cartpole
from omniisaacgymenvs.robots.myrobots.ur5 import UR5
from omni.isaac.core.utils.stage import add_reference_to_stage
from omni.isaac.core.prims import RigidPrim, RigidPrimView,XFormPrimViewclass Ur5_InsertTask(RLTask):def __init__(self, name, sim_config, env, offsetNone) - None:self.update_config(sim_config)self._max_episode_length 150self._num_observations 3self._num_actions 3self._reset_posetorch.tensor(np.array([0, math.radians(-90), math.radians(-90), math.radians(-90), math.radians(90), math.radians(0)]), dtypetorch.float32).to(cuda)RLTask.__init__(self, name, env)def update_config(self, sim_config):# extract task config from main config dictionaryself._sim_config sim_configself._cfg sim_config.configself._task_cfg sim_config.task_config# parse task config parametersself._num_envs self._task_cfg[env][numEnvs]self._env_spacing self._task_cfg[env][envSpacing]self._cartpole_positions torch.tensor([0.0, 0.0, 0.65])def set_up_scene(self, scene) - None:# first create a single environmentself.get_ur5()self.get_table()self.get_cube()super().set_up_scene(scene)self.ur5.initView()scene.add(self.ur5.get_view())self._cubes XFormPrimView(prim_paths_expr/World/envs/.*/prop/.*, nameprop_view, reset_xform_propertiesFalse)scene.add(self._cubes)def pre_physics_step(self, actions) - None:if not self.world.is_playing():returnreset_env_ids self.reset_buf.nonzero(as_tupleFalse).squeeze(-1)#只获取没有复位的环境if len(reset_env_ids) 0:self.reset_idx(reset_env_ids)#TODO:复位的环境动作清零#获取当前位置joints self.ur5.get_joints()self.cube_pos, self.cube_rot self._cubes.get_local_poses()self.tcp_pos,self.tcp_rotself.ur5.get_TCP_pose(isworldTrue)#设置动作增量targetself.tcp_posactions*0.05#执行动作self.ur5.set_pose(target, self.cube_rot, joints, applyTrue)#self.ur5.set_pose(self.cube_pos, self.cube_rot, joints, applyTrue)def get_observations(self) - dict:cube_pos, cube_rot self._cubes.get_local_poses()self.tcp_pos,self.tcp_rotself.ur5.get_TCP_pose(isworldTrue)#计算与目标的误差作为关节角度pos_error cube_pos - self.tcp_pospos_errortorch.clip_(pos_error,-1,1)self.obs_buf[:,0] pos_error[:,0]self.obs_buf[:,1] pos_error[:,1]self.obs_buf[:,2] pos_error[:,2]observations {self.ur5.get_view().name: {obs_buf: self.obs_buf}}return observationsdef calculate_metrics(self) - None:# assign rewards to the reward bufferdistancestorch.norm(self.cube_pos-self.tcp_pos,dim1)#rewardtorch.where(distances0.002,50,0)#reward torch.where(distances 0.002, -distances, reward)#reward torch.where(distances 0.1, -50, reward)#rewardtorch.where(distances 0.002, -distances, 100)#reward-distances# reward torch.where(distances 0.01, 1, -distances)# reward torch.where(distances 0.002, 100, reward)# reward-0.1reward-distancesreward torch.where(distances 0.005, 50, 0)#logging.warning(reward)#reward50self.rew_buf[:] rewarddef is_done(self) - None:distances torch.norm(self.cube_pos - self.tcp_pos, dim1)distance_xabs(self.cube_pos[:,0]-self.tcp_pos[:,0])distance_yabs(self.cube_pos[:,1]-self.tcp_pos[:,1])distance_z abs(self.cube_pos[:, 2] - self.tcp_pos[:, 2])resetstorch.where(distances0.005,1,0)reset_env_ids resets.nonzero(as_tupleFalse).squeeze(-1)#只获取没有复位的环境if(len(reset_env_ids)0):logging.warning(msg(成功个数:,len(reset_env_ids)))resets torch.where((distance_x 0.11) | (distance_y 0.11) | (distance_z 0.11),torch.tensor(1, dtyperesets.dtype), resets)resets torch.where(self.progress_buf self._max_episode_length, torch.tensor(1, dtyperesets.dtype), resets)self.reset_buf[:] resetsreturndef post_reset(self):reset_tensor self._reset_pose.repeat(self._num_envs, 1)#(6-(envs,6))self.ur5.set_joints(reset_tensor, indicestorch.arange(self._num_envs))def reset_idx(self, env_ids):self.update_cube(env_ids)num_resets len(env_ids)random_array np.random.rand(num_resets, 3)# 将其缩放到 [-0.2, 0.2)noise (random_array - 0.5) * 0.2cube_poseself.cube_posegoalcube_posetorch.tensor(noise).cuda()goalgoal-self.ur5.robot_positionintijointnp.repeat(self._reset_pose.cpu().numpy()[np.newaxis, :], num_resets, axis0)jointsself.ur5.get_iks(goal.cpu().numpy(),self.origin_cube_orientation.cpu().numpy(),intijoint)jointstorch.tensor(joints, dtypetorch.float32).cuda()indices env_ids.to(dtypetorch.int32)self.ur5.set_joints(joints, indicesindices)# bookkeepingself.reset_buf[env_ids] 0self.progress_buf[env_ids] 0################################def get_cartpole(self):# add a single robot to the stagecartpole Cartpole(prim_pathself.default_zero_env_path /Cartpole, nameCartpole, translationself._cartpole_positions)# applies articulation settings from the task configuration yaml fileself._sim_config.apply_articulation_settings(Cartpole, get_prim_at_path(cartpole.prim_path), self._sim_config.parse_actor_config(Cartpole))def get_ur5(self):self.ur5UR5(prim_pathself.default_zero_env_path /UR5, nameUR5, translationself._cartpole_positions,ik_urdfPathE:\\1_Project\\py\\paper3\\sim-force2-real\\model\\ur5new\\ur_description-main\\ur_description-main\\urdf\\ur5.urdf)def get_table(self):usdpathC:\\Users\\Administrator\\AppData\\Local\\ov\\pkg\\gym\\OmniIsaacGymEnvs\\omniisaacgymenvs\\robots\\myrobots\\model\\table\\table.usdadd_reference_to_stage(usdpath, prim_pathself.default_zero_env_path /table)def get_cube(self):from omni.isaac.core.objects import VisualCuboidcube_posenp.array([0.5, 0.3, 1.00])cube_orientationnp.array([0.0000000000, 1, 0, 0.0000000])self.origin_cube_posetorch.tensor(np.tile(cube_pose, (self.num_envs, 1))).cuda()self.origin_cube_orientationtorch.tensor(np.tile(cube_orientation, (self.num_envs, 1))).cuda()VisualCuboid(prim_pathself.default_zero_env_path /prop/prop_0,namefancy_cube,positioncube_pose,orientationcube_orientation,scalenp.array([0.05015, 0.05015, 0.05015]),colornp.array([0, 0, 1.0]),)def update_cube(self,indices):n len(indices)# Generate (n, 3) random numbers in the range (-0.3, 0.3)random_offsets (torch.rand((n, 3)) * 0.5 - 0.3).cuda()self.cube_poseself.origin_cube_pose[indices]random_offsetsself._cubes.set_local_poses(self.cube_pose,self.origin_cube_orientation,indices)def set_task_parameters(self):self.init_error_xyz0.05
SKRL运行文件
接着是SKRL运行的主程序文件
import torch
import torch.nn as nn# import the skrl components to build the RL system
from skrl.agents.torch.sac import SAC, SAC_DEFAULT_CONFIG
from skrl.envs.loaders.torch import load_omniverse_isaacgym_env
from skrl.envs.wrappers.torch import wrap_env
from skrl.memories.torch import RandomMemory
from skrl.models.torch import DeterministicMixin, GaussianMixin, Model
from skrl.resources.preprocessors.torch import RunningStandardScaler
from skrl.trainers.torch import SequentialTrainer
from skrl.utils import set_seed# seed for reproducibility
set_seed() # e.g. set_seed(42) for fixed seed# define models (stochastic and deterministic models) using mixins
class StochasticActor(GaussianMixin, Model):def __init__(self, observation_space, action_space, device, clip_actionsFalse,clip_log_stdTrue, min_log_std-2, max_log_std2):Model.__init__(self, observation_space, action_space, device)GaussianMixin.__init__(self, clip_actions, clip_log_std, min_log_std, max_log_std)self.net nn.Sequential(nn.Linear(self.num_observations, 256),nn.ELU(),nn.Linear(256, 256),nn.ELU())self.mean_layer nn.Sequential(nn.Linear(256, self.num_actions),nn.Tanh())self.log_std_parameter nn.Parameter(torch.zeros(self.num_actions))def compute(self, inputs, role):actionself.mean_layer(self.net(inputs[states]))logself.log_std_parameteroutput{}return action,log,outputclass Critic(DeterministicMixin, Model):def __init__(self, observation_space, action_space, device, clip_actionsFalse):Model.__init__(self, observation_space, action_space, device)DeterministicMixin.__init__(self, clip_actions)self.net nn.Sequential(nn.Linear(self.num_observations self.num_actions, 256),nn.ELU(),nn.Linear(256, 1),nn.ELU())def compute(self, inputs, role):return self.net(torch.cat([inputs[states], inputs[taken_actions]], dim1)), {}# load and wrap the Omniverse Isaac Gym environment
env load_omniverse_isaacgym_env(task_nameUr5Insert)
env wrap_env(env)device env.device# instantiate a memory as rollout buffer (any memory can be used for this)
memory RandomMemory(memory_size1000000, num_envsenv.num_envs, devicedevice)# instantiate the agents models (function approximators).
# SAC requires 5 models, visit its documentation for more details
# https://skrl.readthedocs.io/en/latest/api/agents/sac.html#models
models {}
models[policy] StochasticActor(env.observation_space, env.action_space, device)
models[critic_1] Critic(env.observation_space, env.action_space, device)
models[critic_2] Critic(env.observation_space, env.action_space, device)
models[target_critic_1] Critic(env.observation_space, env.action_space, device)
models[target_critic_2] Critic(env.observation_space, env.action_space, device)# configure and instantiate the agent (visit its documentation to see all the options)
# https://skrl.readthedocs.io/en/latest/api/agents/sac.html#configuration-and-hyperparameters
cfg SAC_DEFAULT_CONFIG.copy()
cfg[gradient_steps] 1
cfg[batch_size] 4096
cfg[discount_factor] 0.99
cfg[polyak] 0.005
cfg[actor_learning_rate] 5e-4
cfg[critic_learning_rate] 5e-4
cfg[random_timesteps] 80
cfg[learning_starts] 80
cfg[grad_norm_clip] 0
cfg[learn_entropy] True
cfg[entropy_learning_rate] 5e-3
cfg[initial_entropy_value] 1.0
cfg[state_preprocessor] RunningStandardScaler
cfg[state_preprocessor_kwargs] {size: env.observation_space, device: device}
# logging to TensorBoard and write checkpoints (in timesteps)
cfg[experiment][write_interval] 800
cfg[experiment][checkpoint_interval] 8000
cfg[experiment][directory] runs/torch/Ur5InsertSACagent SAC(modelsmodels,memorymemory,cfgcfg,observation_spaceenv.observation_space,action_spaceenv.action_space,devicedevice)# configure and instantiate the RL trainer
cfg_trainer {timesteps: 160000, headless: True}
trainer SequentialTrainer(cfgcfg_trainer, envenv, agentsagent)# start training
trainer.train()
训练结果与速度对比
在这里我使用的是SAC并且在yaml配置文件里面改了很多参数最终才把整个程序跑起来并成功训练。不得不吐槽一下SKRL对于这么一个简单的任务竟然对超参数那么敏感我使用PPO甚至训练了5W步都不收敛跟SB3比还是有点差距的。
这里我只设置了32个agentSAC大概在1000步左右就学会了怎么reach。1000步的时间大概花了1分半钟。不得不说这个速度相比官方的cartpole例程1024个agent相比是要慢非常多的。这其中是什么原因我也不知道速度慢了差不多30倍。
但是尽管如此omni Isaac gym的并行强化学习还是非常强仅仅需要1分钟就把任务学会了。 另外我也对比了只是用1个agent的效果 首先训练速度并没有快很多1分钟1600步左右其次这个训练结果跟并行训练比确实差很多。
32个agent在1000回合左右reward就已经上去了并且有智能体已经能够陆续完成任务。但是只有一个agent的时候甚至训练到了 5000步都还没有一次成功更别说reward上去了。
然后可以测试下把机器人的数量加到512是个什么情况把机器人加到512后软件启动有了明显的卡顿等了1分钟界面才显示出来。
并且训练速度也是一言难尽1分钟左右才100个回合。 综上而言OMNI isaac gym在并行训练上确实是有很强大的效果并且效率提升很大。但是在自己编写环境时速度远远不及官方的例程好甚至会有点卡顿。
结果分析
这里我分析可能存在的问题
1. 机器人模型是多关节的而cartpole只是2关节的关节数会对仿真速度造成影响。
2.尽管OMNI ISAAC GYM环境给你并行出来很多个机器人但是你在做数据处理的时候也非常考验你的编程能力。例如这里我没有使用官方的控制库rmpflow而是选择了自己求解IK我写的是for循环求解IK那么每多一个机器人就会多求一次ik这里就会造成大量的时间消耗。目前我还没有找到可以批量求IK的库。此外不单是IK如果涉及到图像处理例如想使用opencv做一些边缘提取的话那么这种for循环更是灾难。
3.但尽管如此看到只有1个机器人的时候运行速度也远不如官方给的carpole例程
运行体验与建议
1. Isaac sim实际上nvida很早就推出了近些年也一直有在更新。但每次更新出来bug都很多并且每次版本迭代API变化都很大。并行仿真环境一开始先是isaac gym然后到了omni isaac gym接着又是orbit。现在4.0之后前面三个版本直接弃用全部移植到isaac lab里面。需要仔细移植。
2. Isaac sim的优势在于视觉的仿真正如官方给出的demo视觉的仿真可以做到非常的逼真这对于做视觉操作任务的研究无疑是非常好的特别是在做视觉的sim2real以及数据合成这一块。但是力传感器的仿真一直存在问题不知道4.0会不会好一些。
希望这些建议能帮助 NVIDIA 不断完善 Isaac Sim使其成为更加优秀的仿真平台。
