Intel首批通过AISBench大模型性能测试！5代至强可达每秒2493token(intel新一代至强cpu)

新书9月5日消息，近日，第五代英特尔至强处理器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试（AISBench）。

因此，英特尔也成为第一批通过AISBench大语言模型（LLM）推理性能测试企业。

在AISBench中 在2.0测试工具的评估下，第五代英特尔至强处理器在ChatGLM中 V2-6B(60亿参数)和Llama2-13B(130亿参数)都表现出优异的性能，能够满足轻量级大语言模型的实时推理要求。

测试结果显示，ChatGLM参数为60亿 在V2模型的一般推理中，当输入输出序列为256时，处理器可达每秒2493 token的性能；当输入输出序列为2048时，性能为每秒926 token。

在130亿参数的Llama2模型通用推理中，当输入输出为256时，性能为每秒513 token；当输入输出序列为2048时，性能为每秒132 token。

AISBench 2.0的测试结果验证了英特尔至强在运行轻量级大语言模型时所表现出的优异推理性能。

它还允许客户建立一个基于强大服务器的通用人工智能系统来进行数据预处理、模型推理和部署，以获得人工智能性能、效率、准确性和可扩展性的结合。

同时也说明英特尔至强可以为企业提供“开箱即用”功能，即部分人工智能工作负载可以部署在通用系统上，从而为客户带来更好的整体拥有成本（TCO）优势。

[本文结尾]如需转载，请务必注明出处：新书

责任编辑：黑白

文章内容报告