MiniMax M3正式开源,原生多模态支持百万上下文

2026年06月12日 23:32快讯3
据动察 Beating 监测,国产大模型厂商 MiniMax 在 Hugging Face 正式开源原生多模态混合专家(MoE)模型 MiniMax M3 权重。MiniMax M3 总参数量为 4280 亿,单 Token 激活 230 亿参数,原生支持 100 万超长上下文。为降低部署显存开销,开发团队同步发布了 MXFP8 量化版本,并适配 SGLang、vLLM、Transformers 等主流推理框架。 在多模态设计上,MiniMax M3 在预训练阶段即开展文本、图像与视频联合训练以实现原生语义融合,而非在后训练阶段进行多模态对齐。在运行机制上,模型提供双推理模式,分为用于复杂逻辑和工具编排的 Thinking(思考)模式,以及用于低延迟对话和代码生成的 Non-thinking(非思考)模式。 支撑百万超长上下文的底层内核,是同步开源的轻量化注意力内核库 MiniMax Sparse Attention(简称 MSA)。官方公布的数据显示,MSA 采用分组查询注意力(GQA)分块检索机制,在 100 万 Token 的极长上下文实测中,针对 NVIDIA Blackwell(SM100)架构优化的 MSA 算子相比传统全注意力机制,可实现 9 倍以上的预填充加速和 15 倍的解码提速,同时显著降低了推理开销。

欧易OKX交易所

全球领先的加密货币平台,适合新手与进阶交易者

新手福利:注册即享20% 交易手续费减免!

免责声明:本站所有资讯仅代表作者个人观点,不构成任何投资理财建议。

本文链接:https://www.913721.cn/post/3026.html

相关文章

迪拜监管机构更新了加密投资的营销指南

据吴说报道,迪拜的虚拟资产监管机构(VARA)更新了加密投资的营销指南,规定从 10 月 1 日起,企业在阿联酋市场营销虚拟资产时,必须包含显著的免责声明。声明内容包括“虚拟资产可能会全部或部分失去其…

TrueUSD被指控投资高风险离岸基金

彭博社称TrueUSD的储备被投资于高风险离岸基金,引发美国证券交易委员会(SEC)对TrueCoin LLC和TrustToken Inc.的指控。SEC认为这些公司关于TrueUSD稳定币完全由美…

中东地区加密货币交易量占全球的7.5%

根据 Chainalysis 的报告,在 2023 年 7 月至 2024 年 6 月期间,中东和北非地区占全球加密货币交易量的 7.5%。Chainalysis 估计该期间收到的总交易额为 3387…

WIF市值超越以太坊Layer2网络ARB和OP

CMC 数据显示,Solana 生态 Meme 币 WIF 的市值达到 23.9 亿美元,超过了以太坊 Layer2 网络 ARB 的 23.58 亿美元和 OP 的 23.59 亿美元。…

衍生品交易平台dYdX宣布关闭其v3版本

去中心化衍生品交易平台dYdX宣布将于2024年10月28日20:05(东八区时间)关闭其v3版本。从即日起至关闭日,v3交易所将正常运行,但用户应尽快平仓并提取USDC。10月30日后,用户可从以太…

SUI、OP、IMX等将于下周迎来大额解锁

Token Unlocks 数据显示,SUI、OP、IMX 等代币将于下周迎来大额解锁,合计价值 2.957 亿美元。Sui(SUI)将于东八区时间 10 月 1 日上午 8 点解锁约 6419 万枚…

Paxos Gold 总锁定价值突破 5 亿美元

Paxos Gold 是一种由实物黄金支持的 RWA 加密代币。每个 PAXG 代币代表存储在专业金库设施中的一盎司优质伦敦合格交割黄金。该代币结合了黄金的稳定性与区块链技术的灵活性和可访问性。用户可…

特朗普拒绝哈里斯进行第二场总统辩论

前美国总统唐纳德·特朗普拒绝了福克斯新闻提出的 10 月 24 日或 27 日与副总统卡玛拉·哈里斯进行第二场总统辩论的邀请。特朗普表示,在 11 月 5 日的大选之前不会再有辩论。此前哈里斯已接受…

FTX 2.0重启的传言落空该计划被排除

关于ETH ETF期权的决定,美国证券交易委员会(SEC)已经再次推迟了对现货以太坊ETF期权的决定。根据10月11日的文件,SEC推迟了对拟议的规则变更作出决定,该变更原本允许Cboe交易所列出与几…

现阶段人工智能电力需求占全球1.5%

国际能源署执行董事法提赫·比罗尔表示,现阶段人工智能所使用的电力在全球电力需求中仅占1.5%。到2035年,人工智能的电力需求将占到电力需求整体巨大增长的几个百分点。人工智能会促进电力的增长,但并不是…