bad light userdata pointer

[wangzhankun]

注：提问题时若使用不能用/没效果/有问题/报错此类模糊表达，但又没有根据下面的模板给出任何相关辅助信息的，将会直接标记为Invalid。

描述问题

当执行bash <(curl -fsSL https://xmake.io/shget.text)进行xmake编译时遇到下面的问题：

我在其他地方见到了类似的错误torch/torch7#1035 和 neovim/neovim#7879

从这两个帖子可以看出来应该是lua的问题，但是我不确定该怎么处理，不确定xmake是否可以避免该问题。如果不可以的是否有什么方法可以将xmake的工程转成cmake之类的工程的命令吗？

期待的结果

可以在ubuntu18.04 server aarch64上正常安装xmake。

相关环境

• 树莓派4b
• ubuntu server18.04
• Linux ubuntu 5.3.0-1017-raspi2 18.04.1-Ubuntu SMP Fri Jan 17 11:14:07 UTC 2020 aarch64 aarch64 aarch64 GNU/Linux

[waruqi]

哦 你是 arm64的linux，这个之前可以 只不过好久没测了，可能后来bytecode的改动导致了问题，你可以先其他机器上 xmake project -k cmake 生成cmakelists来编译试试

我现在没环境，等部署好环境我才能测试下。

[waruqi]

你可以先自己拉取代码编译装，跳过bytecode gen应该是可以过掉这个问题的 你先试试

git clone https://github.com/xmake-io/xmake.git
cd ./xmake
git submodule update --init
make build
make install

[wangzhankun]

你可以先自己拉取代码编译装，跳过bytecode gen应该是可以过掉这个问题的 你先试试

git clone https://github.com/xmake-io/xmake.git
cd ./xmake
git submodule update --init
make build
make install

可以正常安装，但是无法运行。

[waruqi]

那等周一我再看下，现在我没arm64的环境

[waruqi]

看着跟arm64下 linux kernel 的虚拟地址超过48bits 存储到lightdata之后会出问题，一些相关workaround方案：

LuaJIT/LuaJIT#230
https://github.com/LuaJIT/LuaJIT/pull/245/files
debayang/lua-nginx-module@543a722
zhaozg/luv@43f120c

不过我搞了个ubuntu arm64的环境，似乎一切正常，可以正常安装运行，还是没法复现问题。。我得先尝试复现下 才能想办法看看怎么修复。

[wangzhankun]

好的，我明天看一下解决方案。我这个平台感觉还不完全是arm64的架构，因为我在jetson nano上是正常的。jetson nano是完全正常的arm64架构。树莓派的话，我在raspberry pi官方32位系统上是完全正常的。但是rasbian系统对多线程支持度不好，所以重新刷入了Ubuntu server18.04 64位的系统,然后就出问题了。你要不尝试在qemu下仿真一下树莓派4用Ubuntu server引导一下。

[wangzhankun]

看着跟arm64下 linux kernel 的虚拟地址超过48bits 存储到lightdata之后会出问题，一些相关workaround方案：

LuaJIT/LuaJIT#230
https://github.com/LuaJIT/LuaJIT/pull/245/files
debayang/lua-nginx-module@543a722
zhaozg/luv@43f120c

不过我搞了个ubuntu arm64的环境，似乎一切正常，可以正常安装运行，还是没法复现问题。。我得先尝试复现下 才能想办法看看怎么修复。

要不你试下ubuntu server 18.04吧，下载页面，

[waruqi]

感觉好折腾，暂时没这么多时间捣鼓环境，如果有直接可用的docker image就好了，等回头有时间我再看看吧。

[waruqi]

我在raspi64分支加了点log，先确认下到底是哪几处lua_pushlightuserdata处理的pointer超过了 47bits，我回头直接改好了。折腾环境太浪费时间了

git fetch origin raspi64
git checkout raspi64
make build
source ./script/srcenv.profile    <-- 直接加载本地源码编译的xmake环境，无需安装，这里面也会执行 xmake --version 应该就会报错
xmake --version 

然后把所有log发我看下。

[wangzhankun]

这个是执行source scripts/srcenv.profile的报错：

[xmake]: [file_open]: xm_io_file_open: lua_pushlightuserdata: 0xaaaad75802b0
error: bad light userdata pointer
[xmake]: [file_open]: xm_io_file_open: lua_pushlightuserdata: 0xaaaae553e2b0
error: bad light userdata pointer
[xmake]: [file_open]: xm_io_file_open: lua_pushlightuserdata: 0xaaaae01852b0
error: bad light userdata pointer

[wangzhankun]

我这里找到了一个qemu的脚本测试通过了。在系统里面尝试安装xmake碰到了相同的问题。

sudo apt-get install cloud-image-utils qemu-system-arm qemu-efi

# Get the image.
img=ubuntu-18.04-server-cloudimg-arm64.img
if [ ! -f "$img" ]; then
  wget "https://cloud-images.ubuntu.com/releases/18.04/release/${img}"
  qemu-img resize "$img" +128G
fi

# For the password.
user_data=user-data.img
if [ ! -f "$user_data" ]; then
  cat >user-data <<EOF
#cloud-config
password: asdfqwer
chpasswd: { expire: False }
ssh_pwauth: True
EOF
  cloud-localds "$user_data" user-data

  # Use the EFI magic. Picked up from:
  # https://wiki.ubuntu.com/ARM64/QEMU
  dd if=/dev/zero of=flash0.img bs=1M count=64
  dd if=/usr/share/qemu-efi/QEMU_EFI.fd of=flash0.img conv=notrunc
  dd if=/dev/zero of=flash1.img bs=1M count=64
fi

qemu-system-aarch64 \
  -M virt \
  -cpu cortex-a57 \
  -device rtl8139,netdev=net0 \
  -m 4096 \
  -netdev user,id=net0 \
  -nographic \
  -smp 4 \
  -drive "if=none,file=${img},id=hd0" \
  -device virtio-blk-device,drive=hd0 \
  -drive "file=${user_data},format=raw" \
  -pflash flash0.img \
  -pflash flash1.img \
;

直接执行运行即可。我在ubuntu18.04下执行通过了。登录的账号是ubuntu，密码是asdfqwer

[waruqi]

我这里是mac环境，这个脚本跑不起来，cloud-localds没这命令，user-data.img也没有, QEMU_EFI.fd我倒是下了一个。不过mac的dd也跟linux的不同，反正改动还挺多，就不折腾了。。

大概我也知道了，反正是pointer值过大的问题，xmake里面就那么几处用了lightuserdata，回头我改下就好

[waruqi]

这块牵扯的东西还比较多，可能要花点时间改下 等改完你再试试