首次攻克「图基础模型」三大难题!港大开源OpenGraph:零样本学习适配多种下游任
首次攻克「图基础模型」三大难题!港大开源OpenGraph:零样本学习适配多种下游任港大发布通用图基座模型OpenGraph,巧妙从LLM中蒸馏零样本图泛化能力。
来自主题: AI技术研报
9887 点击 2024-03-15 12:29
搜索
港大发布通用图基座模型OpenGraph,巧妙从LLM中蒸馏零样本图泛化能力。
在微调大型模型的过程中,一个常用的策略是“知识蒸馏”,这意味着借助高性能模型,如GPT-4,来优化性能较低的开源模型。这种方法背后隐含的哲学理念与logos中心论相似,把GPT-4等模型视为更接近唯一的逻辑或真理的存在。