Agent.Agent.Agent.
这是最近半年来最热的词了.
还是记录一下自己的想法:
首先是agent提供了一套能够落地的系统将ML inference这种概率计算落定并且scale到生产级别.
就好比来量子计算都算完成了,也得要很好的infra来让他落地一样,agent就是ml inference的product infra.
这也是为什么token在去年就会被老黄寄予厚望.每一次inference都是DC里面的CPU的一次计算的话,那自然是巨大的市场.
当下的agent还是比较粗放的,根本没有到精细设计的程度.毕竟首先是力大砖飞,看看砖在力大的时候大概能飞多远.之后才是精细优化,性能提升,走上metrics driven和ab testing的老路.
所以必然所有计算都用agent的ml inference自然是不合算的,也不会是最后的形态.
相比之下,一种基于传统算法和ML inference结合的落地形式可能会出现.
这大概就是后面会出现的最优秀的engineering产品了.
不过最后宣传的时候必然不会是这样的,因为这毫无卖点,也没有想象空间.
所以最后如何就让我们拭目以待吧.