管理系统开发公司 中国工程院院士郑纬民：抓续优化数据存储结构
近日，在2024 Inclusion·外滩大会上，中国工程院院士、清华大学规画机科学与手艺系解说郑纬民采纳上海证券报记者专访暗意，东说念主工智能将对经济发展和东说念主民生流水平进步暴露着越来越大的作用。东说念主工智能发展离不开三个因素，分裂是数据、算法、算力。算力扩容，除加强基础形式斥地外，还应该千方百计扩大存储。建议东说念主工智能企业通过阻挡优化数据存储结构搪塞算力挑战。
郑纬民合计，大模子需要大算力，也需要大存储，但相应会导致大老本，“大模子生命周期的每一个智商皆与存储系统关系。分散式手艺又存在于大模子生命周期的每一环，建议优化里面存储结构，向存储要算力”。
周三050 欧洲杯 荷兰VS英格兰 2024-07-11 03:00
郑纬民分析称，比如在数据赢得阶段，大模子测验需要集聚海量多模态小文献，任一模态的数据集包含多达数亿至数百亿小文献，管理系统开发对文献系统元数据顾问建议挑战。在数据处理阶段，每每、随即的小样本读取等海量数据处理也对底层大数据处理框架建议挑战。模子测验阶段，搜检点文献读写对存储系统读写建议挑战。在模子推理阶段，模子参数和中间服从KVCache对内存系统容量和传输速率建议挑战，中间服从KVCache往往要占据更多存储空间。
“如何花更少的资金斥地更雄壮的基础形式，餍足更大的市集需求？东说念主工智能企业不要一味追求硬件扩容，应在软件优化上寻求惩办决策。”郑纬民说。
app他建议管理系统开发公司，大模子企业在推理流程中，应试虑为历史中间服从KVCache稀奇成立高容量、高宽带的存储系统，保留中间服从，以便重叠期骗，检朴算力。“以大模子扶植读论文场景为例，当不同用户对合并篇论文进行发问，只好能将分享的可复用的部分保存下来屡次复用，就不错大幅裁减算力支出。”郑纬民说。