Musiio为世界上一些最大的音乐目录提供人工智能分析、标记和搜索工具,包括 Sony Music、Hipgnosis、Amanotes、Epidemic Sound 和 Blanco Y Negro。
Hazel Savage 是一位热爱摇滚的吉他手,后来成为联合创始人兼首席执行官,他在音乐行业工作了 15 年,为一些世界上最大的音乐品牌工作——从在 HMV 堆放货架,到在音乐聆听和前沿的企业中运营团队。建议,Hazel 了解从音乐家到大型跨国公司的行业需求。
您从事音乐行业超过 15 年,是什么让您如此热爱音乐,您为什么想涉足音乐行业?
我的父母非常摇滚。他们是巨大的音乐迷,所以我在成长的过程中总是被音乐所包围。然后,在我 13 岁生日的时候,我得到了一把吉他。我仍然演奏并且对现场表演充满热情。因此,当我弄清楚我将要做什么时,专注于我几乎所有时间都致力于的事情是有意义的。
我最终做了很多相关的事情。我在一个乐队里演奏。我管理乐队。我跑俱乐部之夜。我正在为其他人的俱乐部之夜分发传单,列出来宾名单,在不知不觉中,它变成了一种职业,尽管肯定带有技术倾向。
你能分享Musiio背后的起源故事吗?
我大学毕业后的第一份工作是在 HMV(英国唱片店)堆放货架。所以,你可以说我从那时起就意识到了音乐分类的问题。快进几年(通过 Shazam、Pandora 和 Universal),我在一个 UGC 音乐平台工作,每天上传数千首曲目。我与一个播放列表合作,他必须手动将最好的音乐上传到播放列表中。他每天要听数百首曲目。有时候,他有足够的适合播放列表的内容。有些日子他没有。我开始怀疑是否有一种方法可以自动为给定场景寻找最佳曲目。这样一来,他就可以将自己作为音乐专家的技能用于策展,而不仅仅是充当不良音乐的过滤器。
2018 年,我在新加坡通过创业孵化器 Entrepreneur First 认识了我的联合创始人 Aron Pettersson,Musiio 成立了。Aron 是一位人工智能天才。当我们讨论我们可以合作的方式时,我们意识到我们可以使用 Aron 的 AI 技能来解决基于音乐的过滤、自动标记或搜索带有流派、情绪、BPM 等的音乐或基于指纹的搜索的问题. Aron 用一个下午的时间构建了算法的原型,我们将其设置为免费的音乐档案。我们出去吃午饭,让它处理数据。当我们回来时,我们对结果的准确性感到惊讶。我们不可能希望有一个更成功的概念证明。从那里开始,我们对算法进行了大规模优化。我们有一个音乐团队来帮助教授人工智能并进行质量检查,我们已经发布了用于标记的产品,
使用了哪些不同类型的机器学习算法?
我们已经建立了自己的专有算法,我们认为这是我们的秘诀!我的联合创始人 Aron 在分子生物学、神经科学、物理学甚至游戏开发领域工作了十多年,一直处于机器学习的前沿。他领导着我们的 AI 团队。我们还利用 TensorFlow、Kubernetes 和谷歌云服务等可用技术来实现可扩展性,并大规模交付我们的产品,在我们最大的数量下,我们每天标记 5,000,000 条轨道!我们还花费了大量时间和精力来简化我们在 JIRA 中的工作流程;这不仅与您使用哪些工具有关,还与您与开发人员和音乐专家团队合作的效率有关。AI和Music这两个团队的结合是我们秘诀的第二部分。
构建音乐搜索引擎背后有哪些挑战?
速度和准确性是搜索的最大挑战。它必须很快,因为人们正在实时使用它。这与标记不同,因为用户通常会进行多次搜索查询,但标记只发生一次。
您可以采取多种措施来加快搜索速度。您可以只显示与种子曲目共享相同标签的曲目,但会牺牲准确性。例如,在包含 2 亿首曲目的目录中进行纯音频参考搜索可能需要很长时间,因此您需要不断平衡速度和准确性并寻找解决方案。这很棘手,其中一些是来之不易的知识,但我可以分享的是,我们将音频文件转换为频谱图,音频文件的高度详细的指纹,当我们进行音频参考搜索时,算法分析多达 1,500 个数据点– 远远超出了仅使用文字标签所能做到的事情。它还具有难以描述的音乐特征,例如人声质量、氛围和氛围。我们还允许用户定义过滤器,因此他们的搜索可以更快、更集中。
另一个挑战是如何管理相关性。大多数人不会超过结果的第一页,所以我们在这上面花了很多时间。
Musiio 为 b2b 客户解决了哪些问题?
我们为任何人提供音乐目录。我们已经构建了可扩展的技术,无论您是没有时间标记音乐并希望专注于创作的音乐家,还是拥有数亿首曲目的流媒体服务。
我们帮助唱片公司组织他们的数据以实现更好的目录导航,我们帮助同步公司(将音乐放到视频/电视和电影中)发现隐藏的宝石,我们帮助流媒体服务建立更好的播放列表。所有这些公司面临的问题是,通过收听每个音轨来手动处理音频是劳动密集型的,并且很难在持续的一段时间内准确地完成。我将 1000 首曲目标记为实验。花了两个星期,一点也不好玩。我们的 AI 每天可以以 90-99% 的准确率标记数百万条轨道。
借助我们的 Musiio 搜索产品,我们允许 B2B 客户提供音频参考搜索作为一项功能。如果视频制作人正在寻找音乐展示位置,他们会首先了解客户对流派、情绪、BPM 的期望,然后在他们选择的网站上进行搜索。
Musiio 通过允许同一视频制作者使用“参考轨道”在几秒钟内搜索整个数据库来与安装我们搜索的合作伙伴一起缩短此过程。我们的 AI 将扫描参考音轨并返回最接近的音频匹配。
Musiio 最近推出了一款 NFT Song Slicer 产品,你能描述一下这是什么吗?
NFT Song Slicer 是一个原型,旨在帮助艺术家从他们的音乐中获得更多价值。它使用 AI 驱动的流程在曲目中找到所需的钩子(每首歌曲最多三个)并提供时间码,以便艺术家可以将这些歌曲部分铸造为 NFT。它还可以为整个目录自动执行此操作,使拥有大量后置目录的标签和艺术家更容易快速创建新的数字收藏资产。
这种类型的 Song Slicer 产品有哪些潜在用例?
对于目录所有者或拥有大量后置目录的艺术家,NFT Song Slicer 可以每天从数百万首歌曲中选择最有价值的部分。例如,唱片公司可以将这些歌曲片段转换为 NFT,并将其作为限量版数字商品出售。
随着流媒体革命,粉丝们很难从他们喜欢的艺术家的口袋里得到一美元。我们将 NFT Song Slicer 视为粉丝支持他们喜爱的艺术家以及粉丝拥有数字收藏品的一种方式。权利持有者也可以对每个切片进行不同的定价。例如,合唱可能比诗句花费更多。
而且,由于 NFT Song Slicer 可以识别曲目中最有价值的部分,我们看到这项技术可以为 NFT 甚至整个音乐目录提供价值预测。
您对Musiio 未来的愿景是什么?
我说Musiio 是一家十亿美元公司的三分之一。要建立那家公司,你需要三个部分。首先是对大量数据的合法访问,或“管道”。第二部分是技术。这就是我们,我们非常擅长我们所做的事情。第三部分也是最后一部分是标签:一种将您发现、搜索或发现的内容货币化的方法。Musiio 一直在朝着这个长期目标努力。
你觉得人工智能在不久的将来能够创作和创作音乐吗?
我很直言不讳地表示自己不是人工智能的狂热粉丝。这是一个有趣的学术实验,并且有系统可以做到这一点,但我只是不认为有必要。Musiio 之所以如此出色,是因为没有人愿意每天为数千首歌曲添加标签。这不好玩,你不需要一个人来有效或快速地完成它。但是音乐制作?我不确定。想做音乐的人不在少数。
即便如此,我认为我们至少需要 5 到 10 年才能让 AI 生成的音乐听起来不错。前几天我听到了一些人工智能生成的钢琴曲,很难说是人工智能写的还是不是很有成就的人写的。我不相信人工智能的表现会与有成就的人类玩家无法区分。
你为什么要这样?音乐之所以有趣,很大程度上是围绕着艺术家的传说、他们的角色、风格和信息。这不仅仅是关于音乐。
关于Musiio,您还有什么想分享的吗?
我很高兴Musiio 刚刚在 Fast Company 的2022 年 10 家最具创新音乐公司中获得第四名。我们的团队和技术已经从一个想法的种子成长为与 Hipgnosis 和 SoundCloud 等巨大的行业名称一起获得国际认可。这是对我们团队为我们行业领先的产品付出的鲜血、汗水和泪水的致敬。我们很高兴能够站在音乐和技术交叉点的最前沿。知道有一些我们甚至还没有想到的用例让我对未来感到非常兴奋。