崗位職責(zé):
1.負(fù)責(zé)ai infra存儲(chǔ)方向性能分析,探索推理框架kv
ca
che與存儲(chǔ)系統(tǒng)的深度集成,優(yōu)化大模型推理性能;
2.推動(dòng)存儲(chǔ)與大模型加速相關(guān)的生態(tài)建設(shè),包括接口標(biāo)準(zhǔn)化和系統(tǒng)間互操作性,
設(shè)計(jì)和實(shí)施ai infra中kv
ca
che和存儲(chǔ)的軟硬結(jié)合解決方案;
3.負(fù)責(zé)持續(xù)跟進(jìn)llm前沿技術(shù)和開(kāi)源方案,結(jié)合存儲(chǔ)完成場(chǎng)景化分析,并落地存儲(chǔ)
產(chǎn)品,提升存儲(chǔ)智能化競(jìng)爭(zhēng)力。
職位要求:
1.計(jì)算機(jī)科學(xué)、軟件工程或相關(guān)專(zhuān)業(yè),有ai工程優(yōu)化經(jīng)驗(yàn);
2.熟悉主流aig
c算法模型原理,熟悉llm/
cv/nlp/推薦系統(tǒng)等業(yè)務(wù)場(chǎng)景的系統(tǒng)和原理;
3.熟悉業(yè)界常用的大語(yǔ)言模型推理加速框架,如vllm.tensorrt-llm、or
ca、llama.
cpp等;
4.具備分布式系統(tǒng)的研發(fā)經(jīng)驗(yàn),有優(yōu)化系統(tǒng)性能問(wèn)題的能力和經(jīng)驗(yàn),有以下一個(gè)或者多個(gè)條件者優(yōu)先:
1)有超大規(guī)模模型研發(fā)經(jīng)驗(yàn),涉及
數(shù)據(jù)、訓(xùn)練、部署、評(píng)估等相關(guān)工作;
2)具有大規(guī)模模型服務(wù)部署、優(yōu)化經(jīng)驗(yàn);
3)了解主流llm模型,熟悉tensorrt-llm、or
ca、vllm并有l(wèi)lm模型訓(xùn)推加速經(jīng)驗(yàn);
4)熟悉主要云廠商的ai infra解決方案,有分布式計(jì)算和存儲(chǔ)項(xiàng)目經(jīng)驗(yàn)。