芬兰赫尔辛基的人工智能初创公司Silo AI本周发布了Poro,这是一个旨在提升欧洲语言多语言人工智能能力的新开源大型语言模型(LLM)。Poro是计划中的首个开源模型,旨在最终涵盖欧盟所有24种官方语言。这些模型由Silo AI的SiloGen生成人工智能部门和图尔库大学的TurkuNLP研究小组共同开发。
Silo AI的首席执行官Peter Sarlin在接受VentureBeat采访时表示:“这是数字主权的问题,你希望确保有模型捕捉到价值基础、文化和语言。最终,这是关于价值创造,确保不仅欧洲,而且任何公司都能创造价值,能够创建在欧洲内部和在组织内部保持的专有模型。”
Poro34B模型拥有34.2亿参数,以芬兰语中“驯鹿(reindeer)”一词命名,采用BLOOM变压器架构和ALiBi嵌入。它在覆盖英语、芬兰语以及编程语言如Python和Java的21万亿标记多语言数据集的分区上进行训练。Poro目前正在芬兰卡亚尼的LUMI,欧洲最快的超级计算机上进行训练,该计算机提供了512个AMD Instinct MI250X GPU,可提供74拍千亿次的计算能力。
Sarlin表示,Poro的设计目的是解决为欧洲低资源语言(如芬兰语)训练性能卓越的核心挑战。通过利用跨语言训练方法,模型能利用来自高资源语言(如英语)的数据。
作为对透明度的承诺的一部分,SiloGen将通过Poro Research Checkpoints计划记录Poro的训练进展。Sarlin解释说:“我们将在模型训练的各个阶段发布检查点,这是相当新颖的做法。目前还没有类似的倡议提供如此透明的模型训练信息。”根据Silo AI发布的基准数据,Poro在仅完成30%的训练时就取得了最先进的结果。
Sarlin相信像Poro这样的开源模型代表了人工智能的未来,为主要科技公司封闭的模型提供了透明和道德的替代方案。他说:“我个人觉得最终会有很多开源替代品。未来最安全的道路是实际上走向开源,并完全了解这些模型是如何构建的以及架构是什么。”
Silo AI计划在整个训练过程中继续发布定期的Poro检查点。最终目标是创建一整套覆盖所有欧洲语言的开源模型家族。如果初步结果有任何迹象,Poro可能很快将对大科技公司构成竞争压力。
Poro代表了Silo AI与芬兰图尔库大学之间持续合作的一部分。该合作将Silo AI的应用人工智能专业相关知识和计算资源与图尔库大学在多语言语言建模研究方面的领导力相结合。Sarlin表示,这代表了行业和学术界怎么样共同推动人工智能能力发展,特别是对于低资源的欧洲语言。
Poro的发布标志着自然语言处理领域开放协作和透明度的新时代。Poro Research Checkpoints等倡议为整个社区提供了先前被科技巨头封锁的工具和见解的访问途径。Sarlin说:“我们与安联、劳斯莱斯、本田、飞利浦等大型品牌合作。我们听说这些大规模的公司对最终的法规会是啥样子以及他们能够使用哪些模型非常关切。”
如果Poro兑现其承诺,它可能使人们能以民主的方式访问性能卓越的多语言模型,为欧洲提供了一个与美国科技公司系统相抗衡的本土替代方案。尽管仍处于早期阶段,但Poro在将语言人工智能从专有领域引入开源方面代表着一个重要的里程碑。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
10月16日晚,Apple CEO Tim Cook现身Apple成都太古里,并参与了一场Today at Apple课程。期间,腾讯互娱天美L1工作室总经理、Honor of Kings制作人黄蓝枭与Tim就技术问题进行了深入交流,并与他一起观看了一场王者荣耀BO3表演赛。
上海车展正在火热进行中,一汽大众在2023上海车展中带来了ID家族的旗舰轿车产品,ID.7 VIZZION,新车基于MEB平台打造而来,预计将于今年下半年正式上市。
5月18日,为帮助中小企业解决定为难、运营难、资金难、人才难、资源难等问题,杭州市市场营销协会组织多家专业机构联合举办“名企游学,走进上市公司”活动,通过学习交流赋能中小企业更好地完成转型升级。此次活动走进“A股互联网第一股”浙江网盛生意宝股份有限公司。
5月18日,由京东携手爱空间整装举办的京东装修自营业务新品发布会暨京东联合爱空间整装新品媒体见面会正式召开。