团队举例称，当人们使用ChatGPT时，请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大，通常还很慢。如果用户想要使用消费级图形处理单元运行LLM，就需要对这些LLM进行压缩。
CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简，可在手机或笔记本电脑等设备上存储和访问，同时提供了与未压缩版本几乎一样准确而微妙的性能。
虽然CALDERA并非首个压缩LLM的算法，但其独特之处在于兼具“低精度”和“低排序”两种特性。其中，“低精度”减少了比特数，加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。
团队表示，使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外，用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调，这使其能根据特定需求调整模型来增强隐私，而无需与第三方共享敏感数据。
不过团队也提醒道，在智能手机或笔记本电脑上运行LLM，可能会占用设备内存。
标签：
据美国科学促进会旗下网站19日报道，美国普林斯顿大学和斯坦福大学
中新社北京11月22日电 (记者 陈溯)记者22日从中国气象局获悉，下
11月19日上午，芷江镇麻缨塘小学举行了期中考试表彰大会。校园内气
在山东，乳山或许是存在感很低的一座城市。这里2023年底才开通了高
中新社北京11月14日电 (记者 曾玥)中国教育部职业教育与成人教育
11月6日，演职人员在表演民族舞剧《孔子》片段。当日，首届世界古典
题：追星族卫大叔的神舟情缘近日，牧民卫其勒格其忙得不亦乐乎，但
随着通信与导航、人工智能等技术的发展，航运自动化、少人化和无人
2024年10月17日，燕麦奶企业OATLY获得燕麦再生农业认证证书，为中国
95后泰国女孩林玉花，正在长春中医药大学中医内科学专业读研究生。
中新网上海10月23日电(陈静 黄波 叶真于)随着第七届进博会的日益
今年以来，盐城市大丰区大中街道坚持把推进乡村全面振兴作为三农工
金秋十月，菊香满园。10月11日(农历九月初九)，是我国的传统节日重
由汽车之家冠名的2024越野e族阿拉善英雄会活动于9月30日—10月5日期
近年来，福建石狮法院司法警察大队紧紧围绕法院工作大局，把服务审
台风贝碧嘉今天7时30分左右，在上海浦东临港新城登陆，登陆时中心附
7月份全国规模以上建材家居卖场销售额同比上涨
8月7日人民币对美元中间价报7.1386元 下调68个基点
国际金价一度突破2500美元 创下历史新高
上半年京津冀外贸总值创历史同期新高
