第167章重启SLRM研究三

顶点小说(biquge432.com)更新快，无弹窗！

的。」
    「要想让SLRM真正落地，光靠软体优化是不够的。就像谷歌为了追求极致效率，彻底剥离了图形功能，研发了专为矩阵计算设计的TPU（张量处理单元）一样。」
    「SLRM也需要属于它的『TPU』。」
    徐辰的目光变得深邃，「最好的办法就是针对SLRM的运算特性，单独开发一个适合几何运算的处理器，也许可以称之为——LPU（逻辑推理单元）。」
    当然，这一切得建立在SLRM带来的经济价值足够大的前提下。
    ……
    随后，徐辰又思考了一下，SLRM应该还有其他2个问题。
    一个是泛化能力的边界。
    SLRM的强大，建立在「逻辑可形式化」的基础上。
    对于数学题丶逻辑题丶代码生成这种有着严格规则的任务，它简直就是神。
    但是，对于那些模糊的丶感性的丶没有标准答案的任务呢？
    徐辰目前在这几个测试集中能有较好表现，本质上是因为这些数据本身含有逻辑信息，可以训练模型。
    但是，现实世界中的逻辑关系千奇百怪。
    比如「猫」。在生物学上，它是猫科动物；在文学上，它可能是「高冷」的代名词；在网络文化里，它甚至是「主子」。
    而且有些场景就是天然弱逻辑的，比如写诗，比如闲聊，比如情感谘询。
    SLRM的几何约束太强了，它像一把铁钳，死死地卡住了模型发散思维的翅膀。它不允许模型说任何「逻辑不严谨」的话，哪怕那是修辞，是比喻，是艺术。
    「成也逻辑，败也逻辑。」
    「看来，未来还需要设计一个更灵活的『调度器』，让模型知道什麽时候该用SLRM，什麽时候该放飞自我。但这又是一个巨大的工程量。」
    ……
    另一个问题，是训练数据的匮乏。
    徐辰目前能跑出SOTA，是因为他用的这几个数据集（SNLI丶LogiQA等）都是经过人工精心标注的高质量逻辑数据。
    但是，这种数据在海量的网际网路文本中，占比极低。
    想要让SLRM真正具备通用的逻辑能力，就需要海量的丶覆盖各种领域（法律丶医学丶常识）的逻辑数据来训练。
    「没有数据，SLRM就是个空壳子。」
    「而且，不同的逻辑问题下，逻辑的判断归属是不一样的。这依然需要强大的参数量来拟合。」
    徐辰现在的SLRM模块，参数量仅仅只有0.5B。
    「如果要记住更多的逻辑，可能要把SLRM扩大到7B，甚至70B，再配合海量的逻辑数据。「
    「到时候，它和Transformer结合后的威力，绝对不是简单的1+1=2。」
    「也就是说一个7B的transformer架构的模型，加上7B的SLRM模型，组合起来，可能有超过100B参数的能力。」
    「但是……我是没有能力搞到这麽多数据了。」
    ……
    经过一番实操，徐辰得出了结论：
    「这个模型学术成果价值比较强，走产业化路线，还有很大的空间。」
    「不过，因为是系统出品，我对这个方向的产业化还是比较有信心的。」
    徐辰又转念一想，「现在这样，作为学术成果，其实刚刚好。」
    「既展示了颠覆性的潜力，又留下了足够的改进空间给后来人。」
    「这，才是一篇顶级论文该有的样子。」
    他甚至可以预见，这篇论文一旦发表，将会养活多少嗷嗷待哺的AI方向研究生。
    「《基于SLRM的医疗问答系统优化》丶《SLRM在法律文书生成中的应用》丶《一种改进的Gumbel-Box几何嵌入算法》……」
    徐辰掰着手指头数了数，忍不住笑出了声。
    「光是把SLRM里的几何图形换成『球』丶『锥』丶『高斯分布』，就能水出几十篇论文。」
    「再把应用场景换一换，从数学题换成代码生成丶换成情感分析，又能水出几百篇。」
    「更别提那些搞硬体加速的，搞模型量化的，搞分布式训练的……这简直就是给整个AI圈送了一波『全家桶』级别的选题啊！」
    「我这哪里是发论文，我这是在给全球AI界创造就业岗位啊！」
    「功德无量，功德无量。」
    徐辰双手合十，一脸慈悲。

章节报错（免登陆）

下载APP，无广告、完整阅读

验证码：提交关闭

第167章 重启SLRM研究 三

第167章重启SLRM研究三