短暂休息日一瞬而过,沈酌再次投入到忙碌的工作浪潮中。
不过搬家之后,通勤时间大大缩短,沈酌的个人时间增加了不少。为了方便沈酌上下班,时岳给沈酌买了一辆车,一开始沈酌是拒绝的,但时岳不依不饶,强迫他在自己开车上班和做总裁的专车上班之间做选择,沈酌拗不过时岳,于是便答应了。
从别墅区开车到公司,基本二十分钟就能搞定,远比之前挤地铁辗转一个多小时要轻松得多。这意味着沈酌可以多睡半小时,而他却选择利用这段时间晨读一些人工智能新闻或者技术论文,以更充沛的大脑开始一天的工作。
下班时间也变得灵活。项目初期疯狂的集体加班热潮稍微回落,进入更有序的模块开发和迭代阶段。只要完成当日计划的任务,于华森并不鼓励无效耗时间,抛开之前的恩怨不谈,于华森其实是个有能力的领导,这一点还是非常让人钦佩的。因此,沈酌偶尔也能在晚上七点左右离开公司。
下班早的话,他和时岳会一起吃晚饭,聊些工作上的趣事,或者什么都不聊,只是安静地享受食物和彼此的陪伴。饭后,沈酌去二楼的工作室继续琢磨一些技术难点,时岳则在书房看书,偶尔抬眼看看隔壁的认真工作的沈酌,适时地给他补充一些水果。他们互不干扰,却又在同一空间内保持着温暖的连接。到了休息时间,便自然而然的相拥而眠。
这种充实、规律的生活,极大地滋养了沈酌的身心。他不再像刚进研发部那样带着一股绷紧的、证明自己的狠劲,而是更沉稳、更专注地将精力投入到具体的技术问题中。休息得更好,思路也更清晰。
这样的状态持续了大半个月,项目进展顺利,各个子模块的原型开发按计划推进。沈酌和肖剑负责的核心算法部分,初步搭建起了多模态特征提取和基础对齐框架,并在一些小规模数据集上进行了验证,结果符合预期。
然而,当团队开始尝试将文本、图像、视频初步处理后的特征进行更深层次的融合,并接入一个简单的分类器进行端到端训练时,第一个真正的技术瓶颈出现了。
问题出在模型表现的“不稳定性”上。在相同的训练集和超参数设置下,模型在验证集上的准确率波动很大,时高时低,难以收敛到一个稳定优秀的水平。更棘手的是,这种不稳定性似乎与不同模态数据间的“贡献度”分配有关——模型有时过于依赖文本特征,有时又过度关注图像中的某些噪声,导致整体判断忽左忽右,鲁棒性很差。
于华森组织的几次技术讨论会上,团队尝试了多种方案:调整融合层的结构、引入更复杂的损失函数来平衡模态间学习、甚至尝试了对不同模态特征进行标准化和降维处理。但效果都不理想,准确率曲线依然像心电图一样剧烈起伏。
“这是多模态学习里经典的‘模态失衡’和‘协同失效’问题。”于华森在又一次讨论后总结,眉头紧锁,“我们的特征提取器各自为政,没有在训练初期就建立起有效的跨模态对话机制。后期强行融合,就像让说不同语言、还互不信任的人一起做决策,结果自然混乱。”
项目气氛一时有些凝重。大家知道这是关键难点,攻克不了,后续所有工作都可能建立在沙堆上。于是,于华森邀请了周博士参与技术讨论,但问题的解决似乎没那么顺利。
这段时间,沈酌回到家中,眉头也常常不自觉地蹙着,即便坐在餐桌前,脑子也反复回放着白天的实验数据和讨论内容。这些改变时岳看在眼里,疼在心里,他变着花样做一些沈酌爱吃的饭菜,晚上在他工作室门桌子上放一杯热牛奶,或者干脆把他从电脑前拉起来,逼他去健身房稍微活动一下,换换脑子。
“别钻牛角尖,”时岳在跑步机旁对他说,“有时候答案不在一直盯着的问题本身,可能在你之前看过又忘记的某个角落。”
这话点醒了沈酌。他回想起自己备考时阅读的大量文献,特别是那些关于“自监督学习”、“对比学习”以及“多任务预训练”的论文。当时他更多关注如何减少对标注数据的依赖,但现在想来,这些方法的核心思想——通过设计巧妙的代理任务,让模型自己从数据中学习到更好的、更通用的表征——是否也能用于促进不同模态间的“理解”和“对齐”,而不仅仅是事后的“融合”?
一个大胆的想法在他脑海中逐渐成形。
接下来几天,沈酌进入了新一轮的“沉浸式”工作状态。他重新调阅了相关的论文,特别是几篇关于利用跨模态对比学习进行视频-文本预训练的顶会文章。他设想,是否可以在他们的框架中,引入一个前置的、轻量级的“跨模态协同预训练”阶段?在这个阶段,不急于进行分类,而是设计一些需要模型同时理解文本和图像或视频关键帧,才能完成的代理任务,比如:判断一段描述是否与一张图片匹配、从一系列干扰图像中选出被文本描述的那一张、或者预测视频中某一帧前后可能出现的对话文本等等。
通过大量此类不需要人工标注、仅利用原始多模态数据就能构造的任务进行预训练,迫使模型的特征提取器在早期就必须学会“倾听”和“理解”其他模态的信息,从而学习到更具兼容性和判别力的跨模态联合表征。之后,再在这个更好的联合表征基础上,进行下游的具体审核任务微调,或许能解决融合不稳的问题。
由于这个想法涉及对现有架构的较大调整,增加额外的预训练阶段,也意味着更多的计算成本和时间。所以沈酌没有贸然提出,他利用晚上和周末的时间,在工作室里快速搭建了一个简化的实验环境,使用公开的小规模多模态数据集进行验证。
起初并不顺利。代理任务的设计、损失函数的组合、预训练与微调的衔接策略……每一步都需要反复调试和尝试。那段时间,沈酌的书房灯常常亮到深夜。时岳大多数时候会陪着他,自己在一旁看书或处理邮件,直到沈酌告一段落,才一起休息。
经过近一周的密集实验和迭代,沈酌的简化模型在测试集上得到了令人鼓舞的结果:与传统直接融合后训练相比,增加了跨模态对比预训练阶段的模型,不仅最终分类准确率有稳定提升,更重要的是,训练过程的稳定性大大增强,验证集曲线平滑上升,过拟合现象也得到缓解。
虽然这只是在小型公开数据集上的初步验证,但足以证明思路的可行性。