Llama3來襲！如何通過4090GPU云主機快速部署？

UCloud小助手發(fā)布于2024-04-28 17:46 / 201766人閱讀

2024年4月18日，Meta AI正式宣布推出開源大模型Llama3，這標志著開源大型語言模型（LLM）領(lǐng)域的又一重大突破。Llama3以其卓越的性能和廣泛的應用前景，或?qū)⑼苿尤斯ぶ悄芗夹g(shù)快速邁進新紀元。

為方便AI應用企業(yè)及個人AI開發(fā)者快速體驗Llama3的超高性能，近期優(yōu)刻得GPU云主機上線Llama3-8B-Instruct-Chinese鏡像，一鍵配置，快速部署模型開發(fā)環(huán)境。為客戶提供開箱即用的Llama3模型微調(diào)及推理環(huán)境，節(jié)省配置時間，提高開發(fā)效率。

快速搭建Llama3的微調(diào)或推理環(huán)境，僅需以下5步：

1、登錄UCloud控制臺：http://www.ezyhdfw.cn/site/active/gpu.html?ytag=seo

2、選擇GPU云主機，各模型的推薦機型及配置參考文檔https://docs.ucloud.cn/gpu/practice/Llama3-8B-Instruct-Chinese

3、在鏡像市場選擇鏡像，選擇Llama3

4、立即創(chuàng)建，開機執(zhí)行進程啟動命令

cd /home/ubuntu/llama3-Chinese-chat
conda activate llama3-chinese
nohup streamlit run deploy/web_streamlit_for_instruct.py model/llama-3-8b-Instruct-chinese --theme.base="light" 2>&1 &

5、防火墻開發(fā)8501端口后，通過http://服務(wù)器IP地址:8501 訪問

Llama3由Meta在15萬億tokens數(shù)據(jù)集上訓練而成，是Llama2體量的7倍，包括4倍的代碼數(shù)據(jù)。其中預訓練數(shù)據(jù)集中還有5%的非英語數(shù)據(jù)集，總計支持高達30種語言，在做非英語語言能力對齊方面也會更有優(yōu)勢。Llama3 Instruct 更是針對對話應用進行了優(yōu)化，結(jié)合了超過1000萬的人工標注數(shù)據(jù)，通過監(jiān)督式微調(diào)（SFT）、拒絕采樣、鄰近策略優(yōu)化（PPO）和直接策略優(yōu)化（DPO）進行訓練。本次優(yōu)刻得GPU鏡像市場上線的是基于中文語料指令微調(diào)之后的模型（Llama3-8B-Instruct-Chinese），在中文表現(xiàn)上有相對不錯的效果。

在上下文方面，Llama3支持8K的上下文長度，是Llama2容量的兩倍，極大地提高了多步驟任務(wù)的處理能力。同時，該模型特別強調(diào)在理解、代碼生成和指令跟隨等復雜任務(wù)上的性能改進。Llama3 8B和70B參數(shù)的模型在多個行業(yè)基準測試中展示了最先進的性能，特別是在推理和編碼任務(wù)上。其中700億參數(shù)規(guī)模的模型評測結(jié)果極其優(yōu)秀。最大的亮點是在數(shù)學評測GSM8K的得分達到93分！根據(jù)DataLearnerAI目前收集的數(shù)據(jù)，這個分數(shù)僅次于Claude3-Opus的95分，超過GPT-4，位居全球第二，是目前開源大模型中得分最高的一個。

優(yōu)刻得GPU云主機鏡像市場上線Llama3鏡像，可為AI應用客戶提供最新模型一鍵部署的極速體驗。不僅如此，優(yōu)刻得還同步對外提供智算調(diào)度、模型微調(diào)及推理服務(wù)部署服務(wù)。優(yōu)刻得以云主機、裸金屬、高性能存儲、低延遲網(wǎng)絡(luò)等基礎(chǔ)設(shè)施領(lǐng)域積累的運營經(jīng)驗為基礎(chǔ)，搭配“孔明”的資源調(diào)度、多用戶管理與分布式訓練的能力，以及UModelVerse模型推理服務(wù)平臺，形成一站式的AI計算開發(fā)解決方案，服務(wù)大模型開發(fā)者、應用廠商、高校及科研機構(gòu)等合作伙伴，共同推進大模型產(chǎn)業(yè)發(fā)展。

隨著人工智能技術(shù)的演進，像Llama3這樣性能卓越的大模型，將為通用人工智能（AGI）的未來發(fā)展和落地應用提供強有力的支持。優(yōu)刻得也將始終以推動人工智能技術(shù)發(fā)展與應用為己任，持續(xù)與業(yè)界合作伙伴緊密合作，為行業(yè)用戶提供快速搭建大型模型推理或微調(diào)環(huán)境的解決方案，以及高性能的AI算力集群，助力AIGC產(chǎn)業(yè)降本增效。

附高性能NVIDIA RTX 40 系列云服務(wù)器購買：

http://www.ezyhdfw.cn/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo