gem5 system emulation 模式,内部实现了对system call的模拟,使用了一段时间后,有一些发现:
- 如果使用spec2017 X86编译,那么会存在对intel比较新的指令不支持的问题;后来使用gcc march K6 m32来解决,即使用amd的k6 32bit编译,但是这也只是权宜之计
- gem5的开发人员在邮件list中介绍intel对gem5的译码支持比较差,最开始gem5的x86也是基于amd的
- 很多论文中使用了ARM架构,gem5的开发人员也和ARM合作比较紧密,所以gem5对arm架构的指令支持比较好
- 即使使用上面的方法,se模式还是会遇到gem5没有模拟的system call函数的问题
- 同时还会遇到环境的问题,比如549.fotonik3d,需要手动将input输入的压缩文件OBJ.dat.xz手动解压之后才能运行
“”
因为上述的问题,在邮件list中可以看出gem5的开发人员比较倾向于使用full system模式,用他的话就是”works magically”。
X86 full system
如果使基于X86 Ubuntu系统模拟gem5 arch,制作disk image比较简单,可以git clone gem5 resource, 在spec2017文件夹下放入spec2017.iso,调用build.sh自动调用packer将spec2017装入ubuntu的disk image生成spec-2017。
./build/X86/gem5.fast --outdir=./m5out/ configs/example/gem5_library/x86-spec-cpu2017-benchmarks.py --image=path/spec-2017 --benchmark=505.mcf_r --size=ref --partition=1
这里需要强调的是,gem5中介绍了多次qemu-kvm, 但是qemu-kvm并不是在X86架构中生成disk image和真正运行gem5时必须的工具。
在gem5中引入它的主要作用就是在boot阶段使用qemu,在真实的cpu上运行boot 阶段,进行加速,实际上如果我们在云服务器上跑,如果没有qemu软件或者权限,只是使用atomic cpu跑boot也是比较快的。
就是不要被qemu迷惑,fullsystem gem5可以理解成在gem5上跑app,不过这个app是os,单纯的用atomic cpu跑也没有任何问题。
ARM full system
X86 full system的问题是memory最大支持3GB,目前看gem5的设置是不支持5GB 6GB这样的设置。
我们介绍一下如何生成gem5的disk image。
首先看一下最终成功运行full system 使用的指令:
./build/ARM/gem5.fast -d ./m5out/ARM/fullsystem64/spec2017 ./configs/example/fs.py \ --kernel 2022/binaries/vmlinux.arm64 \--disk-image path/expanded-aarch64-ubuntu-trusty-headless.img \--bootloader 2022/binaries/boot.arm64 --mem-type=DDR4_2400_4x16 \--param 'system.highest_el_is_64 = True' \--script=./m5out/ARM/fullsystem64/spec2017_restore/spec2017.rcS
kernel 我的理解就是os内核程序,disk image则是装载了benchmark的磁盘镜像。
内核程序与我们无关,我们可以直接使用,disk image 则需要我们手动装载。
image kernel
script这里指定的是一个script
#!/bin/bashsource /root/.bashrc/sbin/m5 checkpoint 1echo "A real multi node workload might start here ..."cd /home/gem5/spec2017source shrcecho "Reset stats"/sbin/m5 resetstatsruncpu --size test --iterations 1 --config myconfig.aarch64.cfg --nobuild 605.mcf_s/sbin/m5 exit 1
通过指定这个script,gem5在boot成功后,运行这个script,就调用了脚本内的runcpu,自动运行了spec2017对应的app。
如果我们不指定这个script,那么如果不对disk image进行任何修改,那么boot成功后,要求输入用户名和密码,输入root可以进入,不过这个操作比较麻烦,还是建议指定script。
现在唯一需要的工作就是实现disk image,这里帮助对我很大的就是这篇博客](https://www.eecg.utoronto.ca/~elsayed9/website/blog/gem5_fs_arm_flow.php)。
首先遇到的问题就是官方提供的image 1GB或者2GB,然而spec2017有4GB我们需要对image进行扩容。按照博客的操作如下
$ # Backup the original disk image if needed$ cp aarch64-ubuntu-trusty-headless.img expanded-aarch64-ubuntu-trusty-headless.img$ # Increase disk image by 2G$ dd if=/dev/zero bs=1G count=2 >> expanded-aarch64-ubuntu-trusty-headless.img$ sudo parted expanded-aarch64-ubuntu-trusty-headless.img resizepart 1 100% $ # Parse some info for 'losetup' and 'mount' later$ name=$(sudo fdisk -l expanded-aarch64-ubuntu-trusty-headless.img | tail -1 | awk -F: '{ print $1 }' | awk -F" " '{ print $1 }')$ start_sector=$(sudo fdisk -l expanded-aarch64-ubuntu-trusty-headless.img | grep $name | awk -F" " '{ print $2 }')$ units=$(sudo fdisk -l expanded-aarch64-ubuntu-trusty-headless.img | grep Units | awk -F" " '{ print $8 }') $ # Attach to device and record output, to me it was /dev/loop18 $ sudo losetup -f --show expanded-aarch64-ubuntu-trusty-headless.img -o $(($start_sector*$units)) $ sudo e2fsck -f /dev/loop18 # Fix potential errors, press Y for all fixes$ sudo resize2fs /dev/loop18 # Actual resizing step$ sudo e2fsck -f /dev/loop18 # Double check there are no errors $ sudo losetup -d /dev/loop18 # Detach from the loop device $ # Mount image and check new size$ mkdir disk_mnt$ sudo mount -o loop,offset=$(($start_sector*$units)) expanded-aarch64-ubuntu-trusty-headless.img disk_mnt$ df -h # Should show the new expanded image size with the Used and Avail for disk_mnt$ sudo umount disk_mnt
扩容之后 mount image,下面就是要安装spec2017到这个disk image了。
这里建议看一下 gem5-resources/src/spec-2017/disk-image/spec-2017/install-spec2017.sh 这个是装载spec2017到x86 os的过程,我们装载spec2017到arm,可以按照这个流程来。
gem5 resources的路径
1. sudo chroot . #将当前mount目录切换为主目录2. 创建/home/gem5/文件夹 将cpu_spec2017.iso拷贝到这个文件夹3. 按照cpu_spec2017.iso的install流程,mount cpu_spec2017.iso 然后install.sh4. install 之后,我们可以build,生成spec2017的可执行文件等。建议参考install-spec2017.sh
disk image中已经有gcc aarch64的编译工具,因此我们不需要额外再安装gcc aarch64,还是比较方便的。
我们将spec2017安装到了/home/gem5/,再结合一下刚才介绍的spec2017.rcS,就能看出来这个script的作用实际上就是进入文件夹,然后runcpu。
我们看一下效果
大约1Billion指令之后,大约半小时,完成boot。再执行3.3Billion的指令进入真实的runcpu仿真。
最后在介绍一下./util/term/m5term 3460。
在gem5开始运行后,会显示system.terminal listening for connections on port NUMBER
这时我们另开一个terminal,输入./util/term/m5term NUMBER,即可观察到当前os具体运行到哪一步,而上面说的,如果不指定script,需要手动输入root也是在这里。
对我帮助很大的两篇博客:
https://www.eecg.utoronto.ca/~elsayed9/website/blog/gem5_fs_arm_flow.php
https://lucian.run/2021/10/03/gem5%20FS/