GPT-4一经推出，全球网民就把它玩出了各种花样。学习、建网站、作弊，甚至还能用来赚钱。到此，GPT-4也只是一个“咨询专家”的身份在活动。但最近有个技术大咖的操作，直接让GPT-4成为现实世界真真正正的参与者！
最近，国外一位热衷于AI的程序员小哥，成功让手机摄像头成为了ChatGPT的最新版本——GPT-4的“眼睛”，打造出了一款能看到现实空间的AI助手。GPT-4的实力果然非凡，已经超越了当下所有主流的AI助手——它已成为你家庭生活中的一个连接点。而GPT-4的能力绝不仅限于此。
给GPT-4装上摄像头，秒变AI助手
回到家，刚进门，你对着空气说，“帮我看下家里还有哪些食材，出个今晚的菜谱。”家里的“智能管家”立即回答了你，还帮你把菜谱投屏了出来……这样的情景，是不是在不少科幻片里见过？如今，类似的“AI智能管家”可能就要实现了。
“我让GPT-4拥有了眼睛。给视觉模型添加了一些数据；给AI摄像头访问权限；问它一些关于场景的问题；识别物体；在网上搜索信息使用该信息并准确回答。” 外国小哥麦凯·瑞克利不走寻常路。他给GPT-4装了一双“眼睛”，让它自己看到现实空间里的一切，成为他的家庭生活助手。
想要让GPT-4看到家里的一切，首先瑞克利用苹果手机拍摄视频，视频直播到电脑上。接着，他使用电脑上的视觉模型来检测目标。之后，GPT-4写出来的文字，会由AI语音生成器自动读出来。就这样，GPT-4的耳朵、眼睛和嘴巴都有了。
识别物品、制作午餐，统统不在话下
在安装调试好后，瑞克利开始问AI：“生酮饮食是什么东西？”GPT-4说：“让我找找，生酮饮食是一种低碳水化合物、高脂肪的饮食。”瑞克利问：“好的，你能告诉我哪些属于生酮食物吗？”GPT-4说：“给我看看你的食物，我能告诉你哪些是生酮食物。”
于是瑞克利打开冰箱，用很快的速度拍摄了食物。GPT-4说：“你家里有牛排、菠菜、黄油、牛油果和柠檬。这些都是很棒的生酮食物。”瑞克利举了个大拇指说：“好，我要你去网上搜菜谱，看看我能用这些食物做什么晚餐。”GPT-4连网搜索了一会儿后回答：“我搜到一个叫《15分钟快手柠檬大蒜黄油牛排配菠菜》的菜谱，用到了你有的食材。” 并在屏幕上给出了菜谱的网页链接。
他又拿起可乐问GPT-4这是什么，它很快回答“这是一罐可乐”。接着，他问里面有多少卡路里。GPT-4回答“它不含有任何卡路里”，还搜索出这款可乐的成分，给出网站链接。瑞克利又拿出自己的牙刷，问它这是什么，同时要求它找到在亚马逊上的购买链接。GPT-4回答“这根牙刷售价6.66美元，有14712人留下评分，星级评分为4.7”。
“不过我觉得挺不错的了。你们看，它还不是一个完整的产品，只是一个演示。现在的效果已经很令人印象深刻了。”瑞克利说，他非常期待苹果公司将在今年夏天推出的AR眼镜。搭配上GPT-4还未正式推出的图像输入功能，试想一下，如果戴着眼镜随处看，就能让GPT-4对你的生活了如指掌……这不就是机器人管家走进现实吗？
残障人士未来的福音与光明
除了个人技术开发者的开发，官方也准备下场了。在今年的 3 月中旬，OpenAI在 GPT-4 的发布会上表示，在未来GPT-4的应用层中将加入“图片识别理解能力”，旨在让 GPT-4 更好地认知现实事物。实际上，这一举动已经在为未来创造了更多可能性。
2015年，一款名为“Be My Eyes”的应用出现。这款应用充当视力受损人士与志愿者之间的桥梁，允许他们通过实时视频通话请求帮助。志愿者可以帮助解答各种问题，如阅读标签、识别颜色、找到物品等。但受限条件太大，视力受损人士的体验并不是很好。然而随着OpenAI的GPT-4出现，一切都将迎来转机。
通过整合GPT-4的图像识别和文字生成技术，AI可以为视力障碍者提供更为深入的实时视觉辅助。在实际应用中，当用户拍下电视机的照片，可以询问AI电视里在播放什么，还可以轻松帮助用户找到不同颜色的条纹衬衫，并告知用户其他衬衫的颜色。
索菲亚觉得，AI 技术使他们能够依赖个人设备独立完成各种任务，实现真正的自主，并且避免了与陌生人沟通所带来的尴尬和隐私问题。当人们还在讨论AI的威胁时，AI已经真真实实地让他们感受到了科技进步的力量与便捷。