欢迎观看“人工智能边缘”系列,该系列探讨了各行业的专业人士如何在工作中使用人工智能。
今天,我们对 HubSpot 进行了问答式采访,他是一位领导产品本地化团队并监督其 AI 工作的高级经理。
我想知道法学硕士是否使本地化变得更容易,或者遗留系统(如神经机器翻译)是否仍然更可靠。
对你来说!
你在 HubSpot 做什么?
HubSpot 的本地化团队基本上是公司内的内部服务提供商,为有翻译/本地化需求的任何团队、利益相关者或部门提供服务。
不确定我们是否想在这里了解两者之间的区别?
请告诉我们,有什么区别?
我的首选示例是:翻译英国人一辆这样的汽车到美国公路上意味着只需将其移动即可。本地化意味着将方向盘放在另一侧,因为您在美国的道路另一侧行驶。
本地化意味着更多地适应当地市场和更多的编辑自由。
明白了!现在回到你的角色和团队。
我们经常与营销合作,因为我们在 HubSpot 拥有内容相当丰富的营销手册。另一个主要用例是我们提供多种语言版本的知识库。
我们的团队约有 30 人,包括训练有素的语言学家和翻译人员,但仅限于我们的五种“核心”语言(英语除外),这有助于我们以网站所使用的所有语言进行运营。 p>
除此之外,我们还与翻译机构和自由职业者合作以满足我们的外包需求,我们的团队负责这些外部资源的协调、预算管理和沟通管理。
我是产品经理t 本地化并照顾我们的软件本地化。我也是本地化团队的技术人员,这意味着当涉及到我们如何使用人工智能的问题时,您找对人了!
听到这总是很高兴。如果人工智能适合您所做的工作,那么它在哪里?
在当前的对话中,当人们提到人工智能时,他们大多指的是生成式人工智能。通过翻译,人工智能的使用可以追溯到更早的时候。
事实上,当前法学硕士所依赖的一些系统(例如 Transformer 技术)最初是由 Google 出于机器翻译目的而开发的。例如,谷歌翻译大约从 2016 年开始就在名为 BERT 的变压器模型上运行。
基本术语相同,生成式人工智能改变的主要是规模。
我们的团队长期以来一直在使用机器翻译。这通常称为神经机器翻译 (NMT),这意味着它基于神经网络架构通常是变压器架构。
自 2019 年以来,我们一直在大规模使用它,我们拥有的最大用例是 (KB)。知识库有一千多篇文章,更新非常频繁,因为显然我们的产品一直在更新,文章必须与软件的变化保持一致。
翻译知识库最重要的标准之一是翻译时间尽可能短。我们的想法是,如果英文文章更新,翻译版本更新不需要几天甚至几周的时间,信息需要尽快到达。
这是机器翻译的一个非常标准的用例。难道靠人力就能做到吗?当然可以,但我们需要更多的人来处理我们在那里看到的庞大的更新量和频率。
但是对于任何具有高可见性/影响力的事物,我们通常希望有一双人的眼睛来观察机器翻译的输出。对于知识库,用例介于两者之间 - 我们倾向于评论浏览量排名前 20% 的文章。
然后是用户生成的内容,例如评论和论坛或市场上的评论。在这里提供翻译是为了方便用户,通常应该附带一份免责声明,内容是:“嘿,这是通过机器翻译生成的,可能没有经过人类的校对。” p>
透明度部分非常重要,可以让人们提前了解这一点,而不是试图以任何方式隐藏它。
我们还开始在营销内容中使用更多的人工智能翻译,尽管这些内容始终会有一层人工审核。
我们可以使用 ChatGPT 或任何其他 LLM 生成博客文章,但是您是否愿意直接发布它,看不到内容?可能不会。机器翻译也是如此——在某些用例中我们可以e 同意发布原始输出,以及其他我们不同意的内容。
与法学硕士相比,您对机器翻译的依赖程度如何?
目前,绝大多数仍通过传统的机器翻译系统处理。机器翻译引擎是专门的工具,而法学硕士是通用工具。
您可以向法学硕士询问任何问题,您都会得到答案。这是否是一个高质量的答案不是重点,但你不能要求机器翻译引擎来画你的图,对吧?那是行不通的。
它是一个单一用途的工具,因此,在翻译质量方面,尤其是在翻译速度方面,它们往往仍然比大型语言模型具有优势。
话虽这么说,法学硕士正在实现这一目标!已经取得了一些令人惊讶的进展,这是我们正在密切关注的事情。
我们正在尝试使用法学硕士进行翻译,以检测 tr 中的错误翻译,有点像第二层,因为法学硕士有更好的语义“理解”。
基本上,您从机器翻译引擎获得输出,然后让法学硕士确定它是否是一个好的翻译。这是否准确、是否流畅、是否使用了正确的术语?
有关您正在使用法学硕士进行错误检测的实验的更多信息。您正在使用的特定产品是否可以分享?
我们最近一直在与一家外部服务提供商合作进行一项实验,我们测试了一大堆不同的系统,包括来自 Open AI 和 Anthropic 的模型。尽管这主要是一个概念证明。
现在,我们正在寻找将这些系统引入我们现有工作流程的方法,因为到目前为止,一切都是一个专门的项目,我们必须提取一堆内容放在法学硕士面前。所以它超出了典型流程的范围。
下一件大事即将发生g 找出我们如何以不破坏流程的方式插入这些额外的步骤或额外的检查,但可以在流程中提供附加值。
您是否看到过哪种人工智能模型更好的早期结果?
在我们的测试中,我们当时使用 GPT-4 获得了最佳结果——当时 4o 尚未发布。我们尝试了两种方法:我们尝试了一种非常简单的“此翻译是否有错误:是或否。”
在我们拥有的所有语言对中,我们的准确率大约在 80% 以上,这听起来可能不是很多,但实际上相当不错。
我们尝试的第二种步骤是让法学硕士对错误进行分类。在那里,我们看到某些语言的准确性大幅下降。
在多语言空间中,这些模型通常会显示出语言之间在输出质量和功能方面的巨大差异,翻译引擎也是如此。这是因为在某些语言中,只是没有大量可用的训练数据。
我知道您的团队仍在考虑如何将法学硕士整合到您的工作流程中,但我很好奇,在理想的世界中,这个过程是什么样的?
我的理想场景是在 HubSpot 生态系统中定义某些内容元素和资产,我们将通过法学硕士进行观看。法学硕士会向我们指出,“嘿,真的应该有人关注这个。”
我认为这是一个非常酷的用例。具体就我们的情况而言,我们还可以使用它来重新设计我们现有的翻译数据库。我们翻译过的所有内容都存储在数据库中,因此,如果我们需要再次翻译这些内容,我们可以重用现有的翻译。
这更快、更便宜,并且比每次从头开始重新翻译所有内容提供了更高的一致性。这个数据库也是使用法学硕士寻找可能的改进和错误的良好候选者。
他这很有趣。还有其他理想的用例吗?
到目前为止,如果我们翻译内容,法语页面看起来与英语页面几乎一模一样,只是所有内容显然都是法语。但我们还没有真正做很多的一件事是重新利用和重组内容。
法学硕士非常擅长总结和释义——这是我们未来可能想要尝试的东西。
这可能是一种非常酷的方式,可以更多地利用我们的英语内容,因为我们在英语方面拥有相当庞大的内容创建引擎,但并非所有内容都被翻译了。这不仅仅是营销,还包括销售支持等其他领域。
因此,我们在英语方面有很多内容创建团队,但在其他市场,人员通常要少得多。这里可能有一个很好的中间地带,我们可以更轻松地消化英语方面的大量内容并将其翻译成其他语言,但是以不同的格式。
您认为最大的障碍是什么?
从技术实施的角度来看,我认为不存在任何大的障碍。我们基本上可以翻转开关并使用 GPT-4o 进行翻译。
但是,那里会存在一些问题,其中一个主要问题是术语,这不仅仅是生成式人工智能的问题,而且通常是生成式人工智能的一个更大问题。任何自动翻译处理中的一个大问题。
例如,如果您使用 HubSpot 的“Service Hub”之类的名称,您会希望该产品名称在翻译中保持不变。但如果您只是将 Service Hub 放入 Google 翻译中,您可能会在不同的上下文中得到不同的翻译。
这显然是一个巨大的损害,而且它无论如何都不是一个已解决的问题。然而,有很多机器翻译提供商拥有术语表系统,并且在使用法学硕士时也有非常有前途的方法。
您建议中小型企业如何利用法学硕士?或者您实际上会建议他们仍然更多地依赖机器翻译吗?
对于中小型企业,假设可能没有太多可以在企业方面完成的系统管理工作。
在这种情况下,如果目的是生成翻译内容,我实际上可能会建议选择传统的机器翻译提供商。
这是一个更加专注的系统,并且更容易设置,而法学硕士可能需要更多的微调和更多的迭代才能让您达到您想要的目标。
这有点像法学硕士是通才,对吧?它们在各种任务中都表现良好,但如果您想要翻译任务的最佳性能,我会选择机器翻译提供商。
还有一些很棒的开箱即用的解决方案可以让您走得更远,而且会很有趣。uite 也很容易实现。
说到法学硕士,尽管他们是多面手,但是否有一种情况是目前最好的选择?
如果有人只是在寻找即插即用的解决方案,就像你打开它并处理所有事情,那么我会说法学硕士与开箱即用的解决方案一样好机器翻译提供商。
我对机器翻译提供商的领先优势通常在于您可以进行的定制量。或者,我应该说需要付出多少努力才能实现这种定制。法学硕士可能需要更多的努力才能达到同样的目标。
您认为目前关于法学硕士最被高估的说法是什么?
有很多 - 特别是在本地化方面,有一种观点认为我们将失去工作。
翻译行业、本地化行业,我们自 2016 年发布第一个神经机器翻译引擎以来就一直致力于此。
我们已经进行了整个讨论,但它仅限于我们的行业,因此它没有像现在法学硕士那样成为广泛的新闻。
本地化与其他领域(例如软件工程)没有太大不同。获得法学硕士学位并不意味着您可以解雇工程师。好吧,你可以,但风险自负。本地化领域也是如此。
你能用法学硕士取代语言学家、翻译家、审稿人吗?是的,如果您愿意,您可以这样做,但您可能不喜欢这样做的后果。
最后,您如何看待法学硕士对本地化团队工作的影响?
本地化可能提供了完美的水晶球,因为我们已经经历了这样一个循环,最初,炒作是巨大的。
每个人都在谈论翻译员将如何失业。现在已经八年过去了,至今还没有发生。事实上,我们比以往任何时候都更忙。
这并不归结为一个问题,“我们有人工翻译,还是有机器翻译?”相反,这些系统允许您扩大覆盖范围,无论是跨语言还是跨内容类型。规模是这些系统真正非常擅长的,也是它们真正允许您在有或没有人参与的情况下做的事情。
我预计,随着法学硕士的引入,本地化的进展不会发生巨大的变化,因为我们已经到了那个阶段。
来源:hubspot