Genesis_World: 高级机器人仿真环境与应用

Genesis_World

Genesis_World是一个先进的机器人仿真环境，为人形机器人和灵巧手的研究与开发提供了高保真的仿真平台。

公开数据集

Partnet
Objaverse：https://objaverse.allenai.org/
DeepMind Models：https://github.com/google-deepmind/mujoco_menagerie/blob/main/README.md

Robogen流程图整理

flowchart TD
    A[任务输入] --> B[场景生成]
    B --> C[物体加载]
    C --> D[机器人模型加载]
    
    D --> E[仿真初始化]
    E --> F{执行任务}
    
    F --> G[感知模块]
    G --> H[规划模块]
    H --> I[控制模块]
    I --> F
    
    F -->|任务完成| J[数据收集]
    J --> K[强化学习训练]
    K --> L[策略模型]
    L --> F
    
    J --> M[数据分析与评估]
    M --> N[任务优化建议]
    N --> A

上图展示了Robogen在Genesis_World中的基本工作流程，从任务输入到最终的策略优化形成了一个完整的闭环系统。

Todo

使用robogen完成一个操作任务的生成和仿真（done）
GPT-4可替换成国内的大模型，如Deepseek（done）
Deepseek-chat respone解析需调整
1. substep、substeps，substep_types, reward_or_primitives, action_spaces调整解析格式
生成场景仿真，使用的objaverse.load_objects下载objavarse obj接口依赖huggingface资源(https://huggingface.co/datasets/allenai/objaverse/)，使用镜像加速。
1. AutoDL服务器提供了镜像加速功能，打开镜像加速可下载数据（不稳定，开启镜像后可能无法访问deepseek）。
强化学习策略训练
1. PPO
1. State

state = {
    'object_joint_angle_dicts': object_joint_angle_dicts,
    'object_joint_name_dicts': object_joint_name_dicts,
    'object_link_name_dicts': object_link_name_dicts,
    'object_base_position': object_base_position,
    'object_base_orientation': object_base_orientation,    'activated': activated,
    'suction_object_id': suction_object_id,
    'suction_contact_link': suction_contact_link,
    'suction_to_obj_pose': suction_to_obj_pose,
    "urdf_paths": copy.deepcopy(env.urdf_paths),
    "object_sizes": env.simulator_sizes,
    'robot_name': env.robot_name,
}

  2. Action

1
2
3

translation = action[:3]
rotation = action[3:6]
suction = action[6]

2. SAC

使用Genesis实现人形机器人行走策略训练和评估

graph LR
    A[环境初始化] --> B[状态观察]
    B --> C[策略网络]
    C --> D[动作执行]
    D --> E[奖励计算]
    E --> F[策略更新]
    F --> B
    
    G[行走评估指标] --- E
    H[步态稳定性] --- G
    I[能量效率] --- G
    J[速度控制] --- G

Genesis灵巧手基础元动作仿真（todo）

计划实现的灵巧手元动作包括：

graph TD
    classDef process fill:#d4f1f9,stroke:#333,stroke-width:1px;
    classDef dataFile fill:#ffeecc,stroke:#333,stroke-width:1px;
    classDef decision fill:#e1d5e7,stroke:#333,stroke-width:1px;
    classDef api fill:#d5e8d4,stroke:#333,stroke-width:1px;
    
    A[开始: generate_task] --> B[大模型生成任务名称、描述等基本信息]
    B --> C[/保存响应: gpt_response/]
    C --> D[build_task_given_text]
    
    subgraph 配置生成与验证循环
        D --> E{校验通过?}
        E -->|否| F[重新生成 YAML 配置]
        F --> E
    end
    
    E -->|是| G[/保存 YAML 配置: task_yaml_config_task_name.json/]
    G --> H[parse_response_to_get_yaml]
    H --> I[大模型调整物体尺寸]
    I --> J[/保存尺寸信息: size_task_name.json/]
    
    J --> K[decompose_and_generate_reward_or_primitive]
    K --> L[解析并生成 substeps、rewards 和 primitives]
    L --> M[/保存奖励函数: reward_task_name.json/]
    
    M --> N[query_joint_angle 生成关节角度]
    N --> O[/保存关节角度: joint_angle_task_name.json/]
    
    O --> P[query_spatial_relationship 生成空间关系]
    P --> Q[/保存空间关系: spatial_relationships_task_name.json/]
    
    Q --> R[generate_distractor?]
    R -->|是| S[大模型生成干扰物]
    S --> T[/保存干扰物: distractor-task_name.json/]
    
    T --> U[调整干扰物尺寸]
    U --> V[/保存干扰物尺寸: size_distractor_task_name.json/]
    
    V --> W[检查干扰物名称与 PartNet 类别相似度]
    W --> X[选择相似度>0.95的最高匹配项作为 obj'name']
    
    R -->|否| Z[完成任务生成]
    X --> Z
    
    style A fill:#d4f1f9,stroke:#333,stroke-width:2px;
    style Z fill:#d4f1f9,stroke:#333,stroke-width:2px;