资讯

好消息来了!谷歌刚刚发布了Gemma 3的QAT(量化感知训练)版本,通过一些巧妙的技术优化,让27B的大模型也能在NVIDIA RTX 3090这样的消费级显卡上跑起来。这不仅让更多人能体验到强大的AI功能,还为开发者们带来了前所未有的便利。
比如经过 QAT 优化后,Gemma 3 27B 的 VRAM 占用量可以从 54GB 大幅降至 14.1GB,使其完全可以在 NVIDIA RTX 3090 等消费级 GPU 上本地运行! Chatbot Arena Elo ...
IT之家 4 月 19 日消息,谷歌公司昨日(4 月 18 日)发布博文,发布了量化感知训练(QAT)优化版 Gemma 3 模型,在保持高质量的同时,降低内存需求。 谷歌上月推出 Gemma 3 开源模型,能在单台 NVIDIA H100 GPU ...
以 int4 量化为例,Gemma 3 27B 显存需求 从 54GB 锐减至 14.1GB ,Gemma 3 12B 则从 24GB 降至 6.6GB;Gemma 3 1B 仅需 0.5GB 显存。
帕金森病(PD)神经精神波动影响患者生活质量,临床评估存在困难。研究人员分析 33 名 PD 患者在 ON 和 OFF 药物状态下的自发言语内容,使用机器学习和大语言模型(LLMs)预测药物状态和神经精神状态评分。LLMs 的 Gemma-2(9B)表现最佳,这为 PD 治疗效果评估和远程监测提供了新方法。
微软研究院近期揭晓了其最新的大型语言模型(LLM)成果——BitNet b1.58 2B4T,这款模型凭借独特的1.58位低精度架构设计,成功将模型大小压缩至仅0.4GB,引起了业界的广泛关注。 BitNet b1.58 ...
【太平洋科技快讯】近日,微软研究院宣布推出一款大型语言模型(LLM)——BitNet b1.58 2B4T,这款模型采用1.58 位低精度架构,内存仅占0.4GB。BitNet b1.58 2B4T 拥有 20 亿参数,其核心创新在于采用了原生 ...
Together Computer Inc. 今天推出了其 Fine-Tuning Platform(微调平台)的一项重大更新,旨在让开发者能够以更低廉且便捷的方式,随着时间的推移调整开源大语言模型。 这家以 Together AI ...
据报道,鬼鬼吴映洁1月宣告怀孕生女,4月17日她出席活动时透露孕期胖到64公斤,目前已恢复到产前体重50公斤。她举手投足仍充满少女姿态,透露产后对自己很严格,“我一天只吃一餐,不吃面不喝汤不吃水果、不吃含糖饮料也不吃精致面粉”,目标是瘦到49公斤。如 ...
微软还计划优化 GPU 和 NPU 支持,延长上下文窗口至 4096 token,并探索更大规模模型、多语言功能及硬件协同设计。目前,BitNet b1.58 2B4T 已以 MIT 许可证在 Hugging Face 发布,供社区测试与应用。
整理 | 华卫、核子可乐 近日,微软的研究人员声称,他们已经开发出了迄今为止规模最大的原生 1-bit 人工智能模型。该模型名为 BitNet b1.58 2B4T,仅使用 0.4GB(约 409.6MB)内存,可以在包括苹果 M2 芯片在内的 ...
aider多语言编程基准测试显示,Gemini 2.5 Pro近出世半个多月,编程能力已经是全球第一,口碑一众超越Claude 3.7 Sonnet。 为了强调Gemini 2.5 Pro成本优势,Jeff Dean还附上了超详细TOP ...