天天看点

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?

作者:Zilliz

文章

0 1

AI 如何画出虚拟老婆的?

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?

最近大火的 Waifu Labs 项目使用生成对抗网络方法,训练 AI 创作「虚拟老婆」。

这篇文章[1]解剖 AI 学习的步骤,我们可以看到一张二次元面孔是如何在一片混沌中生成的。生成对抗网络简称 GAN,是非监督式学习的一种方法,你可以把它想象成一对为了学习而相互博弈的 AI:一个 AI 学习如何绘画;另一个 AI 学习如何区分由人工智能制作的画和由人类艺术家制作的画作。

通过隔离控制某些特征向量,对这些坐标进行编目,还可以在人物之间实现有趣的变形 。

0 2

当 AI 遇见美食

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?

索尼自 2018 年开始探索人工智能与烹饪之间的连结。日前,索尼开发的 AI 系统已支持将大量的食物数据整合处理后交付到厨师手中,协助厨师在灵活地搭配食材。此外,索尼还在开发能够灵巧快速地操作各种食品和烹饪器具的机器人,以辅助厨师烹饪和装盘。为了实现这些目标,索尼与整个行业的组织合作,从厨师、餐馆到大学、科技公司和食品供应商。我们可以在索尼官网[2]上进一步阅读相关论文并观看概念视频。

0 3

Meta AI 让儿童手绘「活」起来

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?
儿童会画出千奇百怪的身体形状,有时候没有完整的头,有时候手臂又会从眼睛的地方伸出来……不同的孩子又会画出不一样的世界。AI 如何克服重重挑战,识别儿童绘画?Meta 通过四个步骤来完成从绘画到动画的转变:目标检测识别人形;使用角色 mask 从场景中提取人形;通过 rigging 为动画做准备;使用 3D 动作捕捉制作 3D 人形动画[3.1]。你也可以在这里线上试玩[3.2]。
AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?

0 4

AI 软件辅助识别结直肠病变

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?

字节跳动旗下医疗品牌「小荷健康」研发了一款结肠镜 AI 辅助诊断软件,可利用人工智能技术,辅助临床医生实时发现、鉴别结直肠癌症病变。

与其他癌症相比,结直肠癌相对可防可控。而可防可控的关键在于早预防、早筛检、早治疗,结肠镜检查便是最主要的早筛检手段之一。

0 5

Jeff Dean:机器学习 2021 年度总结与研究趋势

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?
谷歌 AI 掌门人 Jeff Dean 发表万字长文年度总结。在总结中,重点介绍机器学习五大趋势:

  • 能力更强的通用型机器学习模型
  • 持续改进机器学习的效率
  • 个人和社会视角下,机器学习的益处
  • 科学、健康和可持续发展方面,机器学习的效益
  • 伦理上,机器学习公平和公正议题

工具

AI 自动补全代码神器

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?

功能:

根据已写出的上下文,自动生成匹配的代码,可以将简单重复的代码编写部分自动化。

亮点:

  • 经过数十亿行公共代码的训练,实测正确率较高,按 tab 键自动补全确实很爽
  • 还可以用于协助软件测试,导入一个软件测试包,其余测试代码自动补全

地址:

https://copilot.github.com/

索尼 CSL 音乐实验室研发的创意原型和音频制作工具

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?

创意功能:

  • DrumNet 通过无监督学习的方式实现基于现有的音乐旋律生成鼓点节奏
  • BassNet 基于现有音乐旋律生成低音,并且在音乐播放时可以随时调整和控制产生音符的密度、清晰度和音色
  • Flow Machines 可以生成一段包含和弦、低音和完整旋律的音轨样式
  • 在把实际演奏的钢琴旋律进行数字化处理时,常常会遇到一些音符的缺失,这时就可以进行“修复”,甚至还可以直接去“续写”或者从头创建一段新的旋律
  • NOTONO 是一个将声音可视化的合成器
  • DrumGAN 生成各种各样的鼓声

用于音频处理和制作混音/母带的高级工具:

  • Profile EQ 类似图形编辑器中的“自动对比”功能,是一个将音频直观对比的自适应均衡器
  • Resonance EQ 类似“调节图像饱和度”功能,能平滑音频,去掉杂音,或放大共鸣,强调谐波丰富旋律等
  • Multiband Phase 自动识别和修复相位相关问题
  • XSpecMatch 是实时的音频匹配均衡器

项目地址:

https://cslmusicteam.sony.fr/prototypes/multiband-phase/

限时你画我猜小游戏

AI 收藏夹 Vol.004:Waifu Lab 火了,AI 是如何创作的?

玩法:

神经网络能学会辨识涂鸦吗?在这个小游戏里,用户在 20 秒内根据命题画画,神经网络试图猜测你在画什么。用户玩得越多,它就会学得越多,是一个有趣的机器学习应用案例。

玩耍地址:

https://quickdraw.withgoogle.com/

️ 涂鸦数据集:

https://quickdraw.withgoogle.com/data

参考资料:

[1] Waifu Labs:https://waifulabs.com/blog/ai-creativity

[2] 索尼的 AI 探索:https://ai.sony/projects/gastronomy/

[3.1] Meta AI 让儿童画活起来:https://ai.facebook.com/blog/using-ai-to-bring-childrens-drawings-to-life/

[3.2] 试玩地址:https://sketch.metademolab.com/

[4] AI 肠镜辅助检查:http://www.chinanews.com.cn/cj/2022/01-07/9646539.shtml

[5] Jeff Dean 的年度总结:https://ai.googleblog.com/2022/01/google-research-themes-from-2021-and.html

Zilliz 以重新定义数据科学为愿景,致力于打造一家全球领先的开源技术创新公司,并通过开源和云原生解决方案为企业解锁非结构化数据的隐藏价值。

Zilliz 构建了 Milvus 向量数据库,以加快下一代数据平台的发展。Milvus 数据库是 LF AI & Data 基金会的毕业项目,能够管理大量非结构化数据集,在新药发现、推荐系统、聊天机器人等方面具有广泛的应用。