age 动漫 叫板Sora出圈后，Luma AI如何接住泼天的流量？
文｜周鑫雨age 动漫
裁剪｜苏建勋
Luma AI 在视频界限叫板 OpenAI 故事，好比半途改打网球的杜兰特，打赢了网球男单大满贯纳达尔。
最近，这家修复于 2021 年的硅谷 AI 公司，在和《智能涌现》的交流中，复盘了视频生成模子 Dream Machine AI 爆火的过程。
在硅谷率先发布一款扫尾能对标 OpenAI Sora 的视频模子，对一家初创公司而言并症结易——更况兼，Luma AI 在视频生成界限算得上是"科班降生"：
2024 年前，这如故个主攻 3D 生成、界限在 10 东谈主傍边的小公司。Luma AI 数据居品崇拜东谈主 Barkley Dai 告诉《智能涌现》，2023 年 12 月决定转型作念视频生成后，团队才推广了视频界限的东谈主才，界限增多到了 50 东谈主。
他提到，Luma AI 能成为视频生成界限的蚂蚁大军，时期实力、发布时机和运营策略统筹兼顾。
东谈主才，是这家公司认为作念出视频模子最伏击的金钱。2023 年 12 月，决定从 3D 转型作念视频生成后，Luma AI 吸纳了 40 个 AI 界限的东谈主才。
而和 OpenAI、Google 打擂台，Luma AI 又对模子的算法和 Infra 作念了诸多优化。Barkley 对《智能涌现》暗意，团队在 Sora 同款 DiT 架构的基础上，选定了独家校正的架构，保证生成扫尾的同期，还简易了熟练和推理资本。
视频模子" Dream Machine AI "的发布时代，2024 年 6 月 13 日，踩中了视频模子赛谈的空污点——这也让 Dream Machine AI 具有了稀缺性，除了快手"可灵"以外，这是独一委果对内行灵通的视频模子；
而模子的"限免"策略，又坐窝眩惑了大量试用者：上线 4 天，Dream Machine AI 的用户量就破了百万。Barkley 对《智能涌现》表示，Dream Machine AI 的投流用度是 0，全靠 KOL 自觉安利，和用户的口碑发酵。
爆火之后，提高用户留存，不让色泽好景不常，是 Luma AI 如今的命题。
2024 年 11 月 26 日，在视频模子发布后近 6 个月，Luma AI 在 iOS 和 web 端上线了 Dream Machine AI 创意平台。与之配套发布的，还有 Luma AI 自研的首款图像生成模子，Luma Photon。
△ Dream Machine iOS 界面。
Luma AI 居品遐想师 Jiacheng Yang（杨家诚）告诉《智能涌现》，与 Midjourney、Adobe 等专科遐想器具不同，Dream Machine 不需要用户学习如何写 Prompt（请示词），也不需要用户懂遐想，"咱们的规画即是作念一款 AI 小白和遐想小白齐能霸道上手的 AI 视觉器具"。
据他先容，Dream Machine 共有 5 个中枢功能：
（1）用天然语言进行对话，齐全图片的创作生成和裁剪；
（2）由 AI 提供创意点子，把柄用户输入的 Prompt，自动提供创意、立场选项；
（3）视觉参照，把柄用户输入的相片，生成带有换取主体或者立场的图片；
（4）将 AI 遐想的图片革新为视频，供用户稽查图片中主体在不同角度下呈现出的细节；
（5）将总计 AI 生成的素材发布在面板上，并生成可供共享的链接，有助于团队进行头脑风暴。
△ Dream Machine 视觉参照功能。
为什么选拔用图像遐想平台，去连络视频模子的用户？"想要扩大 AI 视觉界限用户的盘子，只好视频生成是不够的。图像生成的期骗场景会更庸碌，是以咱们想作念一个很好上手的遐想平台，用户能够霸道上手的同期，也能展现咱们的模子智商。" Barkley 提到。
行业竞争，是作为初创企业的 Luma AI 不得不濒临的问题。他们认为，打出互异化上风，是让模子和居品在行业中具有辨识度和获客的要津。
比如濒临 Midjourney 等图像居品的竞争，Dream Machine 把语言聚首智商作念到了"天花板"。以及，这亦然一个最会遐想字体的模子——相较于 Midjourney 和 GPT 生成的带翰墨的图片，Dream Machine 图片中翰墨的遐想感和明晰度是最高的。
△ Dream Machine 在图片中生成的配文。
和视频模子一样，Luma AI 给 Dream Machine 吃亏的投流预算，是 0。在 Barkley 看来，烧钱营销看的是陈说率，这意味着最终如故要用居品言语。以及，" AI阛阓还很小，我以为对 AI 公司来说，烧钱营销还为前卫早。还不如把营销的钱，投到居品研发上"。
以下《智能涌现》与 Luma AI 增长崇拜东谈主 Barkley Dai、Luma AI 居品遐想师 Jiacheng Yang 的交流，内容略经《智能涌现》裁剪：
烧钱营销，AI 公司还为前卫早
《智能涌现》：2024 年 6 月发布视频模子 Dream Machine 的时候，团队有莫痛快象到会爆火？
Barkley：其实那时是远超咱们预期的，咱们一度出现管事器和 GPU 资源莫得办法承受的情况。
《智能涌现》：如果要归来爆火的警戒，你以为是什么？
Barkley：其实最早发布的版块，还不是扫尾最佳的版块。但咱们决定全量免费放给总计的用户去使用。
在那时，还莫得一个视频模子能够作念到这样。是以短时代内眩惑了好多用户的关注。
《智能涌现》：关于创业公司来说，作念免费的决定是不是还挺症结易的？
Barkley：其实咱们那时也给免费确立了一个额度，我以为这是一个行业的 standard practice（基本操作）。
仅仅那时的峰值对咱们来说过高，大量的用户在短时代内涌入，管事器后台收到了太多的 request。
《智能涌现》：公司能职守流量带来的推理资本吗？
Barkley：其实咱们如故在时期层面作念了好多资本的优化，比如不休去擢升视频生成的速率，最运转咱们的模子生成 5 秒的视频需要 120 秒，刻下只需要 20 秒。
以及在保持原有生成质地的情况下，视频模子的推理还有好多优化的空间。是以在半年时代里，视频模子的资本是不才降的。
是以我以为推理资本对咱们来说不是卓著大的职守，天然亦然一笔开支，但将来会变低。
《智能涌现》：你提到 Dream Machine 是有免费额度的，那么使用完免费额度后的用户付费率怎么？
Barkley：说真话咱们勉强费率实足莫得任何预期。因为那时咱们对 Dream Machine 的定位是解释用户的居品，让用户知谈 Luma AI 视频生成的后劲有多大。那时市面上还莫得一个视频模子是按照对标 Sora 的水平发布的，是以咱们勉强费率实足莫得对标的对象。
但刻下发布的 AI 遐想平台，咱们的定位是最终去获客的居品。是以刻下咱们对它的收入和付费率有更高的期待。
《智能涌现》：Dream Machine 在营销上插足了若干？
Barkley：0，咱们在发布的时候莫得作念任何的营销付费。
天然咱们提前往筹商了好多创作家，他们试用后齐以为很快活，致使大多数东谈主之前用过 Runway，还有东谈主用过可灵。但他们用了咱们的居品后，齐以为说" This is the next big thing "，在推特上自觉帮咱们履行。
但咱们莫得作念任何的投放，因为咱们如故驯服奏效的成分即是居品自己。
经典三级片《智能涌现》：烧钱营销，这一套嘱托在硅谷 AI 公司常见吗？
Barkley：我嗅觉硅谷大部分如故相比居品驱动的，运营这一套主若是中国公司。
视觉界限的阛阓还很小，我以为对 AI 公司来说，烧钱营销还为前卫早。即便 ChatGPT 的用户好多，然则像一些视觉模子，用户如故很少数。
这个时候如果你作念投流，去作念赛马圈地，留存肯定不高，还不如把这些钱插足到模子和居品的研发上，用更好的模子和居品吸援用户的增长。
《智能涌现》：在发布视频模子之前，Luma AI 的时期和居品如故围绕 3D 生成的。团队是什么时候决定作念视频生成模子的？
Barkley：大致在 2023 年 12 月。
《智能涌现》：为什么从 3D 转向作念视频和图像模子？
Barkley：咱们蓝本其实也不会说我方是一个 3D 公司，公司的定位如故视觉界限的 AI 公司，咱们想去聚首这个寰宇在视觉上的构造，是如何匡助 AI 对寰宇进行聚首的。
从独创团队的接洽布景来看，一运转 3D 是 Luma AI 比绝大多数公司和团队更擅长的事。后续咱们也如实作念了好多 3D 生成上的时期落魄。
然则 3D 不错被用于熟练的数据量级，相较于图片和视频来说齐会少好多。同期在使用场景上，刻下手机和电脑如故主要的居品载体，但 3D 也会比视频更受到甘休。
然则当咱们有更多的算力、更多的东谈主才，也有更多的智商去激动咱们的愿景，也即是更好地了解寰宇，咱们也天然地会从 3D 转向作念视频。
《智能涌现》：这会不会让公司看起来策略有些扭捏？
Barkley：从我作为一个里面成员的视角来看，我以为无论是 3D 如故视频生成，一直齐是合理的。
因为无论是 3D，如故视频和图片，齐仅仅一种模态。如果咱们最终想作念到的是对这个寰宇的聚首，那么无论是一种模态、一种生成，如故一种创意的发达，我以为只消规画不变，这些绪论就仅仅帮咱们达陋习画的妙技。
《智能涌现》：从 3D 转型作念视频生成，时代有遭遇什么贫困吗？
Barkley：我以为总计这个词过程如故相比顺利的，因为咱们在作念 3D 生成的时候，团队也就在十几东谈主的界限，但当咱们作念视频生成以后，引入了好多视频界限的东谈主才，刻下团队界限一经跨越了 50 东谈主。
这个过程其实是吸纳了更多新成员去激动规画的齐全，而不是说蓝本环球就在频频地换标的。仅仅蓝本作念 3D 的东谈主，刻下也在逐步运转作念视频方面，比如数据等各方面的责任。
《智能涌现》：作念 3D 的阅历对视频生成有匡助吗？好多响应说 Dream Machine 的畅通轨迹作念得很好，这和 3D 鸠合下的空间聚首智商筹商吗？
Barkley：我以为可能不一定有那么平直的筹商。
但从咱们发布最早版块的视频模子运转，咱们对相机的轨迹畅通，包括视频里有若干机位的变化，是十分侧重的。
是以那时用户也会深广响应说，Luma AI 的模子天然随机候生成扫尾不是那么踏实，然则它能给到好多的机位的出动，以及复杂的东谈主物畅通轨迹。
我以为往时在 3D 上的一些警戒，能够让咱们在作念视觉模子的时候，意志到擢升机位的丰富度和畅通轨迹的复杂度，能够提高用户对视频生成内容的消费意愿。
不外我以为往时的警戒，包括模子自己之间，其实莫得那么大的关联性和模仿道理。
《智能涌现》：是以时期转型最伏击如故补充新的时期东谈主才是吗？
Barkley：是的。
连络住模子的爆火，需要有居品
《智能涌现》：6 月份 Dream Machine 走红后，你们若何筹商用户留存的问题？
Barkley：咱们发布 Dream Machine 的时候，就知谈后头一定要有居品去连络用户陆续踏实的需求。
比如你作为一个 ChatGPT 的持久用户，即便后续会出来好多智商作念得和 GPT 差未几的模子，你如故大意率会选拔使用 ChatGPT。因为 ChatGPT 通过持久的深度学习，一经把捏了用户风俗，能够更好地聚首你的意图。
行业里长久会有更好的模子出现，但居品最终是能够让用户留存的点。
《智能涌现》：团队是从什么时候盘行为念这样 AI 遐想平台的？
Barkley：这个想法其实在咱们最运转作念视频模子的时候就有了。是以居品的想法是客岁（2023 年）12 月和视频模子同步激动的。
仅仅在居品的遐想过程中，咱们其后意志到，要想把总计这个词遐想进程涵盖，也必须要作念到能够生成图片。是以在视频模子发布 5 个月以后，咱们以为图片模子也迷漫好的时候，把两部分同期整合成一个居品。
《智能涌现》：平台的规画用户是哪些东谈主？专科遐想师如故内行？
Barkley：其实咱们以为蓝本的 Dream Machine，更多的用户如故偏专科的，至少是有作念 AI 电影的警戒，或者知谈若何用 Prompt 去生成更好的扫尾。
但其实咱们更但愿刻下的居品，让之前莫得效过 AI 致使莫得遐想警戒的东谈主用起来。比如，如果他们在责任中需要用这样的进程，不错十分容易地通过一轮一轮地和 AI 进行对话去齐全。
咱们在 6 月份发布的视频模子 Dream Machine，其实如故需要一些使用门槛的。咱们在那时候就在想，但愿平素东谈主也能 access 这些视觉器具，就好比视觉里的 GPT。
但视觉是一个很小众的垂类界限。咱们作念遐想平台的想法即是，如何去扩大这个群体。只好扩大群体，能力让视觉界限的 AI 获取更好的发展。
《智能涌现》：非专科遐想师很难把一整套遐想的责任流用得很深切。我的大部分生图需求，可能输入一个浅薄的 Prompt，用 GPT，或者 Midjourney 就能满足。
Jiacheng：咱们的想法是，把用户能霸道感受到划分的功能作念到最佳，比如咱们图像智商比 GPT 好，然则语言聚首智商比 Midjourney 要好。
我用归拢个最基础、实足不复杂的 Prompt，让 Dream Machine 和 Midjourney 对比一下：i want to make a poster for my brother band " crazy avocado " .（我想为我昆仲的乐队"纵容牛油果"作念一张海报。）
△ Dream Machine 把柄" i want to make a poster for my brother band ‘ crazy avocado ’"生成的乐队海报。
△ Midjourney 把柄" i want to make a poster for my brother band ‘ crazy avocado ’"生成的乐队海报。
你看 Midjourney 生成的海报，既不 Crazy，也莫得 Avocado 的元素，也看不出来是个乐队的海报。
语义聚首的智商其实比你遐想的伏击，会影响好多场景的落地。因为生成赶紧的、顺眼的图片，在实用场景中道理不是很大。
如果要让 Midjourney 委果复原你的意图，你需要写好多 Prompt，包括海报的遐想、上头写的翰墨、解释 Crazy 的立场等等。学会写 Prompt，我大意花了两三个月时代。
但我信托 ChatGPT 的大部分用户是不会去学的，他们即是进来问一个问题，得到一个论断。
咱们作念遐想居品的想路，亦然一样的。按照之前市面上的居品，如果我想要得生成复原我意图的图片，最初，我要花 20 好意思金买 Claude 或者 GPT，帮我生成 Prompt；其次，我要再花 20 好意思金到 40 好意思金买 Midjourney，生成图片；终末我还要花 20 好意思金的订阅，把这些图片酿成视频。
算下来，文生视频起码要花 60-80 好意思元。刻下用 Dream Machine，可能 10 好意思元就能处理了。
《智能涌现》：Dream Machine 语言聚首智商的起原，亦然自研模子吗？
Barkley：语言模子用了第三方的 API，咱们再去构建了一个 Agent。这个 Agent 能够聚首用户意图，然后通过不同的 Prompting 的格式，把用户意图革新为图像和视觉模子能够聚首的指示。
《智能涌现》：Luma AI 刻下既有模子，又有居品，若何去作念交易化？
Barkley：居品如故会选定订阅的格式。模子即是提供 API。
《智能涌现》：不作念定制化？
Barkley：定制化不太稳健初创公司，会溜达元气心灵。
刻下莫得专科视觉器具，在界说交互范式
《智能涌现》：一个俗套的问题，你们若何看待巨头下场？按照国内的情况，字节和快手的下场，一经给好多初创公司带来了融资和获客上的压力。
Barkley：咱们发现，这个问题其实是公司和股东之间的问题。只好股东才会原宥：如果哪天一个巨头把你这个事情作念了，会若何样？
但本色上，咱们公司好多 Research 齐有这样的嗅觉：当公司达到一定例模，需要你去合营各式千般的东西的时候，你激动的速率会变得卓著慢，翻新的速率也会掉下来。
天然 Luma AI 的团队在往时一年多的时代里也彭胀了好多，但如故保持着快速翻新、快速迭代的节拍。
我以为有一个类比卓著好：其实你在大公司里，委果去作念视频模子和相应居品的团队，可能也只好几十个东谈主。比如 OpenAI 看起来很大，但 Sora 的团队也就这样多。
天然说到更大的公司，比如 Google，他们可能有比咱们更好的 distribution channel（扩散渠谈），但他们相通会受制于各式进程上，一个新址品会有交易化等好多方面的 concern，激动的速率不会那么快。
《智能涌现》：Luma AI 的迭代节拍有多快？
Barkley：全体迭代速率一直是以几个月，致使是 1-2 个月来计较的。时代会加入新的功能，底层模子的扫尾也在擢升。
就像 Dream Machine 1.0 在 2024 年 6 月发布，1.5 版块是在 8 月发布。1.6 版块加了 camera control（镜头限度）功能，在 9 月底发布。
《智能涌现》：一个新的遐想器具型居品，若何去获客？
Jiacheng：我以为最初不错去分析 ChatGPT 是若何获客的。你会发现，ChatGPT 不光最佳的法子员在用，你隔邻的大叔大妈也在用。
我以为 AI 器具带来的最大的变化是，由于它自己的可塑性和机动性，它不错管事确切总计有视觉需求的东谈主。
我并不以为刻下特定的视觉专科的软件，有十分好的交互，换句话说，刻下莫得专科视觉器具界说了总计这个词行业的交互范式。
《智能涌现》：你若何界说"好的交互范式"？
Jiacheng：比如 ChatGPT 就界说了总计这个词行业 ChatBot 的交互范式，像刻下好意思国的小孩齐不是说 ChatGPT，他齐是说你有么有问你家的" Chat "。
这里的" Chat "，一经成了一个像" Google 一下"的行动。
咱们作念 Dream Machine 亦然一样的。谁能先把平素内行的遐想，通过一个灵通、浅薄的措施，呈现出一个顺眼真理真理，然后能共享给别东谈主的或者有效的图片，谁就能在这个界限有上风。
《智能涌现》：从立项到上线，时代你们对交互神志进行了哪些探索？
Jiacheng：咱们刻下来说，包括行业对咱们的领悟，齐是一个视频模子科研公司。
然则如今的 AI 时期是一个十分以用户体验为中枢的居品，时期型居品的规画和迭代过程很光显，即是最佳的用户体验。
咱们能猜测的最佳的用户体验，即是用最天然的交流格式，把 Dream Machine 当成一个创意助手或者 Creative Partner。你若何和遐想师互动，就若何和系统互动。
有了这样一个规画，咱们就会去了解咱们的图片和视频模子，能够提供怎么的智商。同期也去了解总计这个词行业处于怎么的发展阶段，第三方的语言模子能够给咱们怎么的匡助。
时代，各式千般的 Agent 软件器具也在迭代，环球关于 AI 期骗层的想考也有变化。是以一年以来，咱们的居品即是一个陆续迭代的过程，具体即是一个月把柄行业变化打磨，再花一个月去修改。
这些东西总体统筹、交融起来，才有了刻下这样的扫尾。
Barkley：时代咱们也发现，在 AI 视频生成界限，刻下图生视频比文生视频愈加受迎接，因为用户在乎可控性。
是以总计能够擢升可控性的，齐是用户十分需要的功能点。
《智能涌现》：时代行业哪些居品或者领悟的动向，会对公司的居品研发节拍产生影响？
Barkley：其实我以为往时一年时代里，咱们的居品策略莫得变太多，如故一直想作念能让总计东谈主削弱使用模子的居品，不会跟着其他 AI 居品的发布去作念任何的策略诊治。
我以为居品团队更原宥的事一些 Research 上的动态和进展，比如咱们想作念立场颐养、立场迁徙的功能，就会去查有哪些最新的学术接洽和论文，致使居品团队会加入 Research 团队的扣问，去看研发功能的可行性。
《智能涌现》：居品团队在日常责任中是若何和算法团队交流的？
Barkley：立项的时候，咱们会从用户的角度，以为立场模仿这样的功能很伏击。
然则从 Research 的角度，其实他们不祥情这个功能能不成作念出来，以及能达到怎么的扫尾。是以 Research 会先去作念好多的实验，直到他们把算法作念出来以后，咱们看到这个功能的极限，再去想考若何把功能融入到全体居品和体验上。
是以其实 Research 是一个愈加不祥情的过程，频频需要相比长的时代，也不知谈要花多长时代熟练。
《智能涌现》：时代也会断念好多暂时不够好的功能。
Barkley：对。是以其实好多功能咱们会从用户的角度去想，有的功能 Research 团队能够在短时代内作念出来，有的功能咱们又络续插足，去作念更长的研判，体刻下将来的居品里。
迎接交流！
迎接关注！age 动漫
