目录
一、Wumpus世界简介
1. Wumpus世界
2. 问题定义
a.性能度量
b.环境
c.执行器
d. 传感器
3. 环境情况
4. 主要困难
5. Agent对环境的探索过程
二、Wumpus世界设计原理
1. 实验环境
2. 设计思想
① 单人游戏部分采用pygame模块:
② 计算机自行游戏采用强化学习DQN算法
3. 操作说明
键盘
鼠标
4. 游戏特色
三、Wumpus世界实验代码
1. world.py
Object类
Room类
World类
get_random_location()函数
2. env1.0.py
四、Wumpus世界游戏过程视频展示
一、Wumpus世界简介
1. Wumpus世界
Wumpus世界是由多个房间组成并相连接起来的山洞;
- 某处隐藏着一只Wumpus怪兽,会吃掉进入它房间的任何人;
- Agent可以射杀Wumpus,但只有一支箭;
- 某些房间是无底洞,任何人进入这些房间会被无底洞吞噬;
生活在该环境的唯一希望是发现一堆金子。
2. 问题定义
a.性能度量
带着金子爬出洞口+1000;掉入无底洞或被Wumpus吃掉-1000;采取一个行动-1;用掉箭-10;Agent死亡或Agent出洞,游戏结束。
b.环境
4*4的房间网格。Agent从(1,1)出发,面向右方。金子和Wumpus、无底洞随机选择在除了起始方格的任一方格;
c.执行器
Agent可以向前、左转、右转。可以捡起所处方格内的物体;可以向正对方向射箭;箭向前运动直到击中Wumpus;Agent只能从(1,1)中爬出。
d. 传感器
有5个传感器[臭气,微风,金光,撞击,嚎叫]
3. 环境情况
离散的、静态的、单个Agent、部分可观察的
4. 主要困难
需要找出无底洞和Wumpus,需要推理
5. Agent对环境的探索过程
可以参考:
【互动游戏】通过你缜密的推理,你能完成恶魔的游戏获得新生吗?_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV147411u7So/?spm_id_from=333.337.search-card.all.click&vd_source=d77c96856e5ee7c666f69b5d4c4b6df0
二、Wumpus世界设计原理
1. 实验环境
- IDE: Pycharm + Anaconda
- python:3. 7.12
- 所需的库及版本:
pytorch | 1.13.0 | |
pygame | 2.1.2 | |
numpy | 1.18.5 |
2. 设计思想
① 单人游戏部分采用pygame模块:
World.py包含房间的各种操作,其中无底洞、黄金、怪兽位置随机生成且不在入口处;
Env.py(调用World.py)为游戏的整体架构,包含各种游戏操作函数。
② 计算机自行游戏采用强化学习DQN算法
强化学习DQN算法奖励机制设计:
采取一个行动 | -1 | |
带着金子爬出洞口 | +1000 | |
掉入无底洞、Wumpus吃掉 | -1000 | |
射箭 | -10 |
注:为了节省计算资源,加快训练速度,不将图片输入到网络,只将位置信息(hero、PIT、GOLD、WUMPUS),即输入层共(1+PIT_COUNT +GOLD_COUNT+ WUMPUS_COUNT)神经元
3. 操作说明
键盘
向上箭头:向上移动 W:向上射箭
向下箭头:向下移动 S:向下射箭
向左箭头:向左移动A:向左射箭
向右箭头:向右移动 D:向右射箭
鼠标
点击洞穴(0,0)位置退出洞穴
4. 游戏特色
- 具有游戏难度选择功能,设置了四个难度等级
- 可以自定义房间、怪兽、金堆、无底洞的数量
- 具有修改游戏界面以及怪兽、英雄皮肤功能
三、Wumpus世界实验代码
1. world.py
Object类
怪兽、金堆等游戏元素的可视化图片。它包含了加载图片、修改尺寸和设置位置等功能。
class Object(pygame.sprite.Sprite):# 怪兽、金堆、无底洞等各种可视化图片def __init__(self, filename, location, size=150):# 调父类来初始化子类pygame.sprite.Sprite.__init__(self)# 加载图片并修改尺寸为size*sizeself.image = pygame.image.load(filename).convert()self.image = pygame.transform.smoothscale(self.image, (size, size))self.rect = self.image.get_rect() # 获取图片位置self.rect.topleft = location# 设置位置
Room类
代表迷宫的房间,具有不同的状态,如臭气、微风、无底洞、金堆和怪兽等。通过设置不同的状态,可以改变房间的显示。
World类
主要逻辑部分:它定义了迷宫的大小、无底洞、金堆、怪兽和箭的数量。通过调用set()函数,可以设置不同位置的无底洞、金堆和怪兽。shoot()函数用于射杀怪兽。set_breeze_around()和set_stench_around()函数分别用于设置周围房间的微风和臭气状态。
get_random_location()函数
生成随机的位置坐标。它确保生成的位置不会重复,并且不会生成在迷宫入口处(0,0)。返回包含指定数量的不重复随机位置列表:
def get_random_location(screen_width, screen_height, size, count=1):# 返回不重复、随机的二维数据列表, 且不包含(0 ,0),共count个元组# random.randrange(self, start, self.stop=None, step=1, _int=int)从指定范围内按指定基数递增的集合中获取一个随机数loc_list = []while len(loc_list) < count:x, y = 0, 0while x == 0 and y == 0:# 入口(0,0)处不能有任何物体x = random.randrange(0, screen_width, size)y = random.randrange(0, screen_height, size)loc = (x, y)if loc not in loc_list:loc_list.append(loc)return loc_list
2. env1.0.py
待补充
四、Wumpus世界游戏过程视频展示
Wumpus World游戏操作展示