model地址
./mnt/bert-base-uncased
按照我在矩池云储存的文件位置,写的运行的代码,能跑,就是没有结果,运行也不终止
先运行这个
python /mnt/pycharm_project_745/nodectl.py --config /mnt/pycharm_project_745/examples/python/ml/flax_llama7b/3pc.json up
再运行这个
python /mnt/pycharm_project_745/test4.py -c /mnt/pycharm_project_745/examples/python/ml/flax_llama7b/3pc.json -m /mnt/bert-base-uncased/flax_model.msgpack
这个是官方给的Bert的代码,
先运行这个
python /mnt/pycharm_project_745/nodectl.py --config /mnt/pycharm_project_745/examples/python/ml/puma_bert/3pc.json up
再运行这个
python puma_bert_benchmarks.py \
--model_name_or_path /mnt/bert-base-uncased/ \
--config /mnt/pycharm_project_745/examples/python/ml/puma_bert/3pc.json \
--task_name mrpc \
--train_file /mnt/pycharm_project_745/data/mrpc/train.jsonl \
--validation_file /mnt/pycharm_project_745/data/mrpc/validation.jsonl \
--max_seq_length 128
在我搭的环境中,都不报错,但是没有结果,一直运行,
我今天发现我的环境中的GPU没有被识别到,重新搭建会遇到各种包版本冲突的问题,所以可以先把包的版本冲突问题搞清楚,再跑,搭建环境,建议python用3.10,,cuda建议11.8,,也可以后面摸索一下哪种更好,,
spu在Windows系统下是下载不了的,需要用Ubuntu,在这个里面可以下载,secretflow好像也只能在Ubuntu中下载
还要注意,有些import是引用的文件,要注意他的引用逻辑,可能会报错