PPIO派欧云发布下一代推理加速引擎
2024年7月26至28日,由中国计算机学会(CCF)主办的“CCF Computility 2024分布式计算大会暨全国开放式分布与并行计算学术年会”在长春市举办。陈国良院士、于全院士、郑纬民院士等11位院士与学术界和产业界的1000多位顶级专家齐聚一堂,深入探讨分布式计算与算力网的最新进展,推动科技与产业的深度融合。
作为中国领先的分布式云服务商,PPIO派欧云联合创始人、董事长兼CEO姚欣受邀参会并发表题为《面向下一代人工智能的分布式智算网络建设与运营》的主题演讲,正式发布下一代分布式推理加速技术产品——派欧算力云推理加速引擎。
性价比领先:推理性能提升十倍,综合成本降低90%
派欧算力云推理加速引擎通过一系列自研推理加速算法,使大语言模型(LLM)推理性能提升10倍。同时,PPIO派欧云还积极在硬件层构建分布式算力基础设施,将综合推理成本降低90%以上。不仅推理性能超越了众多硅谷AI Infra头部公司,还具备显著的成本优势,助力更多开发者使用大模型技术进行应用创新。
为了突破显存、算力和带宽对大模型推理性能的限制,PPIO派欧云通过算法、系统和硬件的协同创新实践,推出三大核心技术,通过Pyramid Cache稀疏化压缩算法、Hydra Sampling投机采样技术以及端到端FP8推理,打造全球领先的下一代高性价比算力云推理加速引擎。这些技术显著提升了推理加速优化的潜能,实现成本与性能之间的最佳平衡,为开发者提供了卓越性价比的大模型推理服务。
Pyramid Cache稀疏化压缩算法:与当前主流压缩优化思路不同,Pyramid Cache稀疏化压缩算法分析计算注意力分数在不同层上的分布模式,为不同层动态分配不同KV Cache预算,在压缩比和模型性能之间取得最佳匹配。实验表明,该方法将KV Cache压缩至10%以内,同时保持95%以上的模型性能表现,最终将GPU内存开销降低至20%,显著提高GPU内存资源利用率,不仅满足长窗口的推理需求,还进一步将端到端推理效率提升2倍以上。
Hydra Sampling投机采样技术:针对传统大模型推理过程中每次仅生成一个token导致的低吞吐量问题,PPIO派欧云创新实现了基于多头并行推理的Hydra Sampling投机采样技术。大量实验证实,在传统的投机采样算法中,草稿模型的输出token接受率严重影响推理效率。为此,PPIO通过用场景数据在线更新草稿模型,使得草稿模型逐渐拟合目标大模型,相应的输出token接受率可以进一步提高。基于这种在线动态更新机制,草稿模型越用越聪明,推理效率也随之越来越高,端到端综合性能优化达到2倍以上,处理更多请求的同时,推理性价比显著提升。
端到端FP8推理:PPIO派欧云重写了核心的注意力算法,直接调用FP8 TensorCore进行注意力计算,并使用FP8保存KV Cache,避免FP16格式的中间结果转换和传输,实现全链路FP8计算。通过这些优化,显著降低数据存储和通信成本,端到端推理效率提升约2倍,充分释放硬件算力潜能。
在三项创新技术的支持下,派欧算力云产品基于自研的推理加速引擎能够迅速适配和优化开源大模型,第一时间上架Llama3.1-405B、Mixtral 8x22B等20多个开源高性能大模型,API正常运行时间达到99.99% 。与GPT-4o相比,通过派欧算力云产品微调和优化的Llama3.1-70b模型,其Input token价格降低了90%,Output token价格降低了95%。派欧算力云产品还通过第三方大模型API平台为全球开发者提供高性能推理服务,相比于OctoAI、Lepton、Together、Fireworks等硅谷公司,派欧算力云产品在综合性价比上具有显著优势,确保开发者在享受高性能、稳定的推理服务的同时,获得前所未有的成本效益。
灵活产品形态,共建繁荣AI开发者和产学研生态
派欧算力云推理加速引擎可广泛应用于多个场景,提供灵活且高效的解决方案。在大模型服务方面,用户只需几行代码即可享受高性价比的推理服务,并且只需为实际消耗的token数量付费。这种方式极大地降低了用户的使用门槛和成本,帮助企业专注于自身业务的增长和发展。
不仅如此,派欧算力云产品还提供容器化的推理基础设施,满足模型定制和私有部署的需求。用户无需担心底层的计算资源管理,只需专注于模型和上层业务,即可自动获得强大的推理性能输出,并按使用时长付费。这种灵活的服务模式使得企业能够快速部署和扩展推理服务,适应不断变化的业务需求。
同时,PPIO派欧云积极推动高校学术合作和人才培养。PPIO派欧云首席科学家王晓飞教授在大会发表演讲,分享了PPIO与天津大学在分布式算力云方向的产学研合作最新动态,并介绍了通过汇聚网络边缘侧与端侧算力资源、构建混合异构分布式算力网络的实践案例。此外,依托此次CCF分布式计算大会,PPIO联合中国计算机学会分布式计算与系统专业委员会、中国科学院计算技术研究所分布式系统研究中心、鹏城实验室网络智能研究部,举办第一届CCF算力网系统与应用大赛。大赛旨在激发青年学生的创新创造力,深入了解算力网的系统架构和关键技术,推动算力网技术的创新发展和落地应用,为算力网等分布式领域的创新人才培养和新质生产力实践提供开放合作的平台。经过激烈角逐,最终由南京大学、国防科技大学和河北工业大学队伍获得大赛一等奖。
姚欣强调,随着推理需求的不断增长,降低成本是大势所趋。PPIO派欧云将继续深耕分布式计算及推理加速技术的研究与应用,不断更新迭代推理加速引擎,力求在性能和成本上实现新的飞跃。PPIO的目标是让推理成本降低90%、99%、甚至99.9%,使更多AI创业企业和开发者能够轻松承担大模型推理的费用,从而真正构建出赋能AIGC应用爆发的基础设施。
首届中匈青少年魔方公开赛北京大区赛圆满落幕
在素质教育的大潮中,科学教育正以其独特的魅力在青少年心中播下创新与探索的种子。近日,一场以魔方为载体的智力竞技赛事——首届中匈青少年国际魔方公开赛北京大区赛,在北京圆满落幕,为青少年科学教育和素质教育再添新篇。
本次北京大区赛由匈牙利驻华大使馆指导、李斯特中心-匈牙利文化中心(北京)主办、重庆市魔方协会承办、学而思素养协办,吸引了来自全国20余城市的近200名青少年选手,他们以魔方为媒,展现当代青少年的智慧与创造力。
本次赛事的一大亮点在于赛制的创新与项目的丰富性。在传统“速拧”项目的基础上,赛事特别增设了“盲拧”与“克隆”两大挑战项目,极大地提升了比赛的观赏性和挑战性。其中,“盲拧”项目更是将选手的记忆力与空间想象能力推向极致,选手能在短时间内完成观察记录与拧转,令人叹为观止。这些项目的引入,不仅展现了魔方运动的无限魅力,助力魔方运动普及,也促进了青少年在逻辑思维、空间感知及快速反应能力上的全面发展。
本次公开赛的举办,是对青少年科学教育和素质教育的一次有益尝试。学而思素养负责人唐睿表示:“我们非常荣幸能够参与到这样一项有意义的赛事中来,希望通过这样的活动,让更多的孩子能够在科学探索中发现自我、展现自我。”
魔方,不仅是一项全球性的智力游戏,更有其独特的教育价值。学生们在解谜的过程中,通过观察、分析、推理和试错等过程,锻炼其逻辑思维能力,培养他们的问题解决能力和创新能力。同时,魔方的复杂结构也促进了学生手眼协调能力和空间理解能力的提升,为他们的全面发展奠定了坚实基础。
实际上,魔方作为一种科学教育工具,许多学校和教师已经开始尝试其融入课堂,通过魔方的复原过程,引导学生自主探索,理解空间结构和逻辑推理,同时培养他们的动手能力和团队合作精神。学而思素养品牌负责人陈欣欣表示:“我们希望通过魔方这样的益智活动,激发孩子们的创造力和想象力,让他们在快乐中学习,在探索中成长。”
学而思素养秉持“激发兴趣、培养能力”教育理念,在魔方等益智类赛事承办及教学领域深耕多年,累计培训魔方学员达4万余人,百余名学员在世界魔方协会大赛中斩获殊荣。随着北京大区赛的圆满结束,晋级的小选手们将继续冲击8月2日在重庆举行的总决赛,学而思素养也将继续见证孩子们在科学教育和素质教育上的更多成就。
心中有梦想,脚下甘有泥-山西运城联通平陆县分公司政企客户服务一部
山西运城联通平陆县分公司政企客户服务一部全体员工,始终保持任劳任怨、爱岗敬业的工作作风。这支由三人组成的团队在政企客户经理的岗位上稳步向前,通过学习与反思,不断积累服务经验,始终把客户利益放在首位,做到让客户舒心、放心、省心的“三心”服务。
他们把客户当朋友,积极添加来公司办理和咨询业务的客户为微信好友,方便客户后续咨询办理各项联通业务。面对老年客户的套餐资费和话费账单方面的问题,他们则是耐心地向客户解释,直到客户满意。曾有一位老年客户到公司反馈说自己的宽带网速慢而且IPTV在家里看不成。听完客户的诉求,政企客户服务一部工作人员立刻帮客户查询核实,联系线务员一同上门测速,解决问题,这位老年人表示对联通的服务相当满意,并极力推荐亲朋好友来办理联通业务。
“客户是面镜子,反应的是联通的服务态度”。在工作中难免会遇到有客户的投诉,面对性急口快的人,他们时刻保持冷静,认真倾听客户的抱怨和需求。在一个节假日期间,某单位值班人员告知他们的网络一直掉线,影响到了广大用户的在线使用,作为政企客户服务一部的负责人,同时也是一名客户经理的王春芳,在接到故障派修单后,便立即放下家里手中的活计,带领团队以最快的速度赶赴现场处理断网问题,事后赢得了该单位领导的高度评价和肯定。在他们眼里,服务不单单是一种形式,而是一种态度,将客户置于心中首席,才能把服务做到无懈可击。
山西运城联通平陆县分公司政企客户服务一部,是一支敢打敢拼,敢于攻坚的精锐之师,“极致专业、坚定团结”作为他们的口号,始终以客户需求为中心,深度参与客户问题解决、故障处理全过程。团队全体成员将会带着“联通好服务 用心为客户”这份坚定的信念,怀揣“三个收获”,阔步向前行!(撰稿人:杨波)