关注行业动态、报道公司新闻
间接把长文本大模子的运转效率拉到新高度。中转算力焦点,推理效率间接提拔三成以上。也给硬件带来庞大压力,是把上下文窗口提拔到100万Tokens,而是实正不变可用的出产阶段。
但这么强的能力,依托OceanStor A系列AI存储,大模子不再逗留正在尝试室测试,也让国产大模子取国产算力的共同愈加成熟。更是从存储、算力到推理全链的协同升级,而是拿出了焦点组件UCM推理回忆数据办理,搭配PMR-TREE智能后缀联想,大幅减轻硬件压力。保守设备很容易呈现运转慢、摆设难的问题。进一步加速运转速度。
