大模型推理

部署参数量较大的开源大模型，或者要支持多人同时使用。48GB 起步。显存不够时可以多卡拼，但要确认平台支持多卡。

显存要求是经验参考，具体看模型和分辨率。显存够用不代表速度够快，大任务要同时看算力。