第一千零一章比可塑层还早一年

顶点小说(biquge432.com)更新快，无弹窗！

    陆远把那个电话号码揣在口袋里三天没动。
    第四天中午，他去公用电话亭打了一个，响了两声就接了。
    “喂。”
    “李老师？我是陆远。上次会上问问题那个。”
    “哦。陆远。”那边顿了一下，像是在回忆，“华清计算机系的？”
    “对。”
    “想好了？”
    “想好了。课不多，能去帮忙。”
    “行。明天下午三点，你到东四环这边来找我。地址记一下。”
    陆远拿了纸笔记下来。
    挂了电话，站在电话亭里看了那张纸条几秒。
    东四环，某研究院信息技术研究所，离华清不算远，骑车半个多小时。
    第二天下午，他准时到了。
    研究所是一栋旧楼，灰色外墙，门口连个像样的牌子都没有。
    只有一块小铜牌，上面刻着单位名称。
    李副研究员在二楼楼梯口等他。
    四十出头，瘦，头发有点乱，走路很快。
    “来了。跟我来。”
    实验室在走廊尽头，两间打通的大屋子。
    机器不少，但比华清郑教授那间整齐。
    二十几台工作站排成三排，屏幕上跑着各种训练任务。
    十几个人坐在电脑前，大多很年轻，二十出头。
    李副研究员带他走到最里面的一台机器前。
    “你先看看这个。”
    屏幕上是一个训练脚本，输入是多模态数据，图像、文本、语音三种。
    模型要把它们映射到同一个语义空间。
    文字描述“一只黄色的狗在草地上跑”，图像和语音要对应到同一个特征向量。
    陆远看了几行，模型架构用的是双塔结构。
    文本塔和图像塔分开编码，最后对比学习拉近正样本距离。
    这个思路本身没问题。
    可陆远注意到两个细节。第一，模型没有正则化项。第二，学习率固定。
    “跑多久了。”
    “两周。”
    “损失降不下去？”
    李副研究员愣了一下：“你怎么知道。”
    “没正则化。过拟合了。学习率又固定，后期梯度震荡。”
    李副研究员看了他几秒，然后转身喊了一声：“小赵，你过来。”
    一个戴眼镜的女生跑过来。
    李副研究员说：“把最近三天的损失曲线调出来。”
    曲线出来。
    果然，前五天稳定下降，从第六天开始震荡，最近两天几乎不降了。
    李副研究员看着屏幕，又看看陆远。
    “你以前做过多模态？”
    “没有。”
    “那你怎么一眼看出来的。”
    “前面那张图，权重的分布太窄了。说明模型只记住了训练样本。再加正则就好了。”
    “加什么。”
    “L2。权重衰减设零点零零一。学习率改成余弦退火。”
    李副研究员沉默了两秒，然后对小赵说：“按他说的改。重新跑。”
    小赵看了陆远一眼，有点不服气，但还是坐下来改了代码。
    重跑之后，损失曲线重新开始下降。
    李副研究员把陆远叫到走廊。
    “你大几。”
    “大三。”
    “什么背景。”
    “修过几年电器。”
    李副研究员笑了。
    那笑很短，一闪而过。
    “你以后每周来三天。这里的事不用往外说。项目是合作性质的，参与单位不止我们一家。有些东西你看到了，自己心里有数就行。”
    “明白。”
    “行。你去找小赵，让她给你开权限。”
    陆远点头。
    回实验室的路上，他扫了一眼墙上的项目进度表。
    表格很大，用蓝色胶带贴在墙上。
    横向是月份，纵向是任务节点。
    在“多模态融合”这一栏里，他看到了两个熟悉的名字。
    方立群。
    孙志远。
    他面上没变化。
    走到小赵工位旁边，坐下来，开始调代码。
    接下来两周，陆远摸清了研究所的基本盘。
    项目分三个组。
    他所在的第三组负责模型架构，组长是小赵。
    另外两组，一组做数据标注，一组做训练优化。
    李副研究员统管全局，但上面还有一层。
    项目的大方向由合作单位共同决定，方立群和孙志远都在合作单位的专家名单里。
    陆远翻过项目立项书。
    资金来源写着“国家科技支撑计划”，经费数字不小。
    交付节点分三期，第一期已经在收尾。
    第二期的目标写得很清楚：实现跨模态检索系统的原型部署。
    部署。
    这

章节报错（免登陆）

验证码：提交关闭

第一千零一章 比可塑层还早一年

第一千零一章比可塑层还早一年