10月14日,在美股和港股双重上市的禾赛科技正式推出其战略级新品——三维世界数据引擎Kosmo。该产品由一个硬件和一个云平台构成:硬件是全球首款8K超高清AI空间相机Kosmo One,云平台则是AI驱动的Kosmo World。
禾赛将Kosmo视为公司从激光雷达领域迈向物理AI核心基础设施的关键转折,也是其在已占据全球领先地位的激光雷达市场之外,开辟第二增长曲线的核心产品。
深入了解Kosmo One的能力后,人们对Kosmo的兴趣会更浓。用禾赛的话说,虽然还不确定Kosmo能渗透多少行业,但哪个行业或个人会拒绝影视级的三维世界数据呢?人类始终在追求更逼真地记录、还原和展示真实世界,Kosmo One正是这一追求的最新实践。
今年4月首次接触Kosmo One概念时,有人曾认为它会与大疆的爆款产品Osmo Pocket 3竞争。但深入了解Kosmo构建和还原三维世界的能力后,结合人类对真实记录、还原和展示世界的持续需求,Kosmo One对禾赛乃至整个世界的影响,将远超Pocket 3对大疆及世界的影响。
一、Kosmo具备哪些能力?
以下解读非常硬核。
首先,此次发布的硬件Kosmo One,是一款8K超高清AI空间相机,其核心功能是将真实世界数据化,转化为数据资产。
Kosmo One集成了具备空间解析能力的激光雷达、8K高清影像系统、一英寸CMOS大底和高精度IMU,能够对空间几何、色彩、纹理和设备姿态进行微秒级同步采集。结合3DGS(3D Gaussian Splatting)重建技术和专用ISP调校系统,可输出毫米级几何精度与8K影像级画质。
在易用性方面,即开即扫、智能指引和一键续扫三大功能显著降低了空间采集的门槛,使操作从需要专业人员培训变为普通人无需培训即可完成。
Kosmo One采集的三维世界数据,通过Kosmo World这一一站式3D内容创作与管理云平台,能迅速转化为AI可理解、可交互、可训练的智能空间。——这就是Kosmo的核心能力!
禾赛为此专门开发了原生3D空间重建与理解系统KSC:Kosmo Spatial Core。该系统一次重建即可同步生成3DGS、mesh、depth三种形态的三维数据。
原生AIGC能力使Kosmo One采集构建的数字空间更加完整:未扫描区域自动补全,材质与纹理智能识别重建,多视角信息无缝融合,最终生成完整、连贯、可自由漫游的三维场景。
借助AI驱动的3D语义分割,场景中的每个物体都能被独立识别与定义,从静态三维模型变为具备语义信息和操作属性、可被物理AI理解的空间对象——真实世界由此转化为面向具身智能训练的sim-ready数据。
云平台Kosmo World则能将数字化的真实世界转变为高质量的三维空间数据。目前,对高质量三维空间数据需求最迫切的,正是当下最火爆、最前沿的具身智能和世界模型领域。在AI时代,拥有更多数据的公司才能训练出更优的模型和产品。
当然,需要高质量三维数据的不仅是具身智能和世界模型,还包括影视媒体、文旅文博、空间商业化等多个领域。
除了行业需求,Kosmo还能为个人提供真实记录三维世界、创作身临其境体验的能力。这让人联想到大疆推出消费级无人机时,方便个人开启上帝视角记录世界和生活旅行的情景。
从这个角度看,这印证了此前的判断:Kosmo One对禾赛乃至世界的影响,将远超Pocket 3对大疆及世界的影响。
二、为何是禾赛推出Kosmo?
这是因为市场存在需求,同时禾赛具备相应的底层技术能力。
从需求端看,禾赛表示,在研发激光雷达的过程中,许多行业应用需要更高精度的激光雷达,精度从厘米级到毫米级甚至更高。而且,绝大多数应用是将激光雷达与摄像头融合,用于不同的垂直场景。
例如,曾因逼真和体验火爆全网的《黑神话·悟空》,在扫描庙宇、佛像等真实场景的设备骨架时,使用的就是禾赛的产品。
这些垂直场景还包括广义的测绘行业、机器人数据训练,以及建筑和游戏行业。不同垂直场景的玩家使用禾赛的激光雷达与摄像头融合时,由于需求不同,融合效果和产品质量参差不齐。
禾赛看到了这一机遇,希望打造一款超高集成度、具有“苹果产品质感”的产品,为不同垂直行业提供完成度高、功能完整的产品。
这些需求的底层,都指向了人类对真实记录、还原和展示世界的追求。
而真实世界是三维立体的,激光雷达是一种具备三维感知能力的传感器。禾赛成立12年来,已成长为全球顶尖、掌握激光雷达底层技术能力的企业。最新推出的6D激光雷达,正是这种底层技术能力的最新体现。所谓6D,是一个巧妙的命名,代表空间三维维度XYZ和色彩三参数Red、Green、Blue,两者相加共6个参数,故称“6D”。
当然,这样的6D激光雷达并非一蹴而就,而是禾赛12年艰难探索的结果。回顾禾赛的发展历程:团队2013年在硅谷起步,2014年在上海注册落地,2015年进军车载激光雷达。
激光雷达的大规模商业化首先出现在自动驾驶领域。
这一波自动驾驶商业化的开端是2009年谷歌的自动驾驶项目,其最大特点是使用了Velodyne HDL-64E的64线机械激光雷达,安装在改装的丰田普锐斯上进行路测。
当时,激光雷达的价格堪比一辆豪华汽车,售价超过10万美元,体积巨大,顶在车顶像一口锅,且64线的性能对空间的感知能力有限。
值得一提的是,禾赛成立的2014年,谷歌也因外购Velodyne激光雷达成本过高而开始自研。当时激光雷达行业群雄逐鹿,除了谷歌这样的甲方自研,还有Velodyne这样的车载激光雷达鼻祖,以及禾赛这样的初创团队。
经过10多年的发展,禾赛在商业化上已成为全球激光雷达出货量最大的公司,在乘用车ADAS和Robotaxi两大市场市占率全球第一;在技术上,经历了激光雷达从机械到固态的芯片化发展全路径,构建了光机电软硬一体设计、自研芯片、超大规模精密制造的全栈能力,为Kosmo这样创新性地将激光雷达和摄像头融合的空间相机奠定了最牢固的技术基础。
三、Kosmo的商业规模有多大?
目前,禾赛对Kosmo的商业化路径有三种构想:1、最底层的是卖硬件;2、其次是卖云服务;3、最后是卖数据资产。
这三种商业模式对应的是完全不同的三个市场:硬件、云服务和数据资产各有其市场规模。
其中,硬件和云服务是禾赛目前已在运营的商业模式。
至于数据资产,则是一个全新的市场。禾赛认为,至少需要3-5年才能建立起来。毕竟,数据资产需要先有各行各业的数据才能形成资产,而这些数据都需要通过一个个售出的Kosmo One采集,再通过Kosmo World云平台进行一站式创作和管理。
禾赛对Kosmo的商业想象空间很大,但落地时首先瞄准了目前最重要、也是行业最刚需的领域——具身智能训练的数据需求市场。
具身智能对数据的渴望比大语言模型和图像模型更多、更立体。与大语言模型和图像模型能通过互联网便捷获取海量数据不同,目前具身智能行业的数据仍需行业自行采集和生产,这也催生了具身智能数采中心这一新业态。
但在具身智能领域,训练数据存在**“数据假”、“交互假”、“空间不精准”**三大痛点。而KSC系统输出的3DGS、mesh和depth三种形态的数据,可以分别解决这些痛点:3DGS细腻还原外观解决“画面假”,mesh加速可交互物体的拆分与建模解决“交互假”,depth提供的真实空间距离信息解决“空间不精准”。
3DGS、mesh、depth三大数据来自同一场景,彼此时空对齐,使机器人看到的、抓到的和测到的是同一个世界。
在实际应用中,Kosmo生产的数据还能针对目标机器人的相机特性进行视觉适配,让机器人在“自己眼中”的世界里训练,进一步缩小仿真环境与真实世界的差距。这套能力覆盖了具身智能从预训练、到后训练再到测评部署的全流程。
该方案已在Sharpa机器人和DQ冰淇淋门店中成功部署。过去,人工建模还原一家门店需要专业团队投入约300个小时,而Kosmo仅需约15分钟即可完成扫描并高度还原三维训练环境。Sharpa机器人迅速将任务成功率提升至99%,最终在DQ门店上岗作业。
除了具身智能,当前火爆的世界模型领域也对真实数据有着海量需求。世界模型可简单理解为真实物理世界的模型,行业共识是:只有更多、更逼真的真实数据,才能训练出更好的世界模型。
因此,真实世界数据已成为整个行业最刚需、也最稀缺的基础资源。
Kosmo提供的1:1还原、几何精准的真实世界三维数据,连同精确的相机位姿、深度信息与多视角对应关系,成为世界模型理解物理规律的“真实坐标”。基于同一个三维空间,还能自动生成上万条训练轨迹,使高质量真实世界数据的获取效率提升100倍以上。
这使得Kosmo有机会成为每一家世界模型公司背后的数据底座。为此,禾赛还致力于构建开放空间智能生态,让真实世界数据连接AI与3D应用。在此剧透一下,禾赛李一凡表示,手中还有多个尚未发布的产品线,均属于行业基础设施范畴。
除了上述新兴的具身智能和世界模型领域,Kosmo还在影视媒体、文旅文博、空间商业化等领域拓展业务边界。
在空间商业化方面,Kosmo能将目前导航到一家店的二维地图位置导航服务,提升到导航至一件商品具体位置的三维空间导航,帮助消费者迅速找到所需商品的具体位置。目前,禾赛已与高德达成战略合作,首批三维重建的重美术馆、偏锋画廊已上线高德扫街榜“飞行街景”。
四、人手一台Kosmo的愿景实现路径
Kosmo在影视媒体的应用,是禾赛实现**“人手一台Kosmo”**愿景的关键一步。
在影视媒体领域,Kosmo生成的3D内容场景中,一草一木都是可互动、可编辑、可反复调用的3D数字资产,能大幅降低传统影视创作全流程的成本和时间。
在前期预演阶段,勘景成本有望从前期预算的30%降至5%,并能让影片快速进入UE等主流制作管线; 在拍摄阶段,可直接服务于LED虚拟制作与绿幕流程。以往1万平米的欧洲街景实景搭建需要2个月,现在用Kosmo扫描、重建加编辑只需1周,成本节约最高可达80%; 在后期阶段,Kosmo拍摄扫描的内容中,一草一木、一人一狗等万物皆可互动、可编辑,光纤可调、补拍可直接调用,大大提升了影视制作的成本和便利性。
目前,Kosmo已获得包括制作过《玩具总动员》、《侏罗纪公园》等作品的皮尔斯旗下工业级渲染器RenderMan在内的全球顶尖影视公司的采用。通过将Kosmo生成的3DGS数据直接接入RenderMan的渲染管道,可在专业渲染软件中对真实世界数据实现影视级的风格化控制,并能从真实空间中自由提取几乎一切元素作为创作素材。
近期,皮克斯更是将这一工作流制作成官方教程向全球创作者开源。RenderMan将Kosmo重建的真实世界带入全球顶级影视作品,Kosmo正在成为影视级3DGS的标准定义者。
在AI影视工业化方向,Kosmo与跃墨工作室合作,以真实空间替代AI生产的虚拟空间,在大幅节省Token消耗的同时提升运镜效果与画面表现力。创作团队从真实世界提取可考究的三维数据作为高光镜头的基底,结合AI完成人物导入与渲染,使成品既保有真实质感,也提升了AI影视的制作效率。
对于个人内容创作者而言,一旦拥有一台Kosmo,就能获得比肩顶级影视作品制作的能力,而且所需时间大幅缩减,这极具吸引力。
目前,个人消费者面临两个问题:
- Kosmo体积如香槟瓶般大小;
- 成本相对大疆Pocket 3等现象级手持相机高一到两个数量级。
按照禾赛的设想,未来Kosmo能成为可放入每个人口袋的相机,成为人手一台的消费品。
这需要禾赛的研发团队努力提升Kosmo的性能、降低其生产成本。一旦实现,这个市场将极其巨大,个人内容创作也将迎来井喷式发展,或许会催生新的交互方式、新的社交模式等。
记录、还原和展示真实世界的未来,非常值得期待。
从见证禾赛深耕车载激光雷达11年,到打穿车载市场成为全球第一,再到推出Kosmo这样一款开创未来的产品,标志着禾赛进入新的产品爆发周期。禾赛亲手创造了成立12年以来的全新爆发机遇,拥有这种创造能力的禾赛,未来同样值得期待。
一旦实现这一愿景,禾赛的市值将再上一个台阶,或许是两个台阶。从目前的百亿级,升至千亿级甚至更高。毕竟,禾赛的野心在于数据资产,而数据资产的价值肯定很可观,但目前谁也说不清它值多少钱。
本文来自微信公众号 “车智”(ID:invehc),作者:Michael Yuan,36氪经授权发布。