移动端 AI 的应用场景

移动端 AI 的应用场景

AI 在智能手机上有哪些应用场景呢，对于不同的开发者来说，如何确定自家的应用是否需要 AI ？如果需要，如何引入？

智能手机制造商（比如 Apple、华为等）和数以万计的应用开发者都可以在自己的 apps 中应用 AI 相关的技术，让自家的 apps 更好地服务用户的同时，提高竞争力和市场占有率。

本文将从智能手机制造商和应用开发者这两种角色出发，分别进行讨论。

智能手机制造商

2017 年，最具有明星气质的两款配备?AI 能力的手机是 iPhone X 和 华为 Mate 10，这两款手机有以下共同点：

1. 搭载了专门针对?AI Inference 能力优化的硬件芯片。iPhone X 搭载了?A11 Bionic 芯片，可以加速神经网络模型运行，支持?Metal 2 的?GPU 计算能力，也可以用于深度学习模型的?Inference。
2. 为开发者提供了?Inference 加速能力的?API。Apple 在最新的?iOS 11 中提供了?CoreML，通过?coremltools?将常见的传统机器学习算法模型（比如?XGBoost、SKLearn）和主流深度学习框架训练得到的模型转化为自有格式?.mlmodel?（一个整理?CoreML?格式模型的网站：coreml.store），之后该格式的模型可以打包在应用安装包里面，并在运行时加载进行?Inference；华为在?Mate 10 发布后推出了?HiAI 移动计算平台业务?，进行之前发布有?NPU 的麒麟?970 芯片组时提到的?OpenAI?生态系统建设。
3. 在系统应用中应用了?AI 能力。iPhone X 的?Face ID 、动态表情包和Siri 就用到了面部识别、语音识别以及?NLP 等相关?AI 能力；华为的智能相机应用、机器翻译和语音助手等也具备?Image Classification、Object Detection 等?AI 能力。

2022年，随着OpenAI大模型ChatGPT应用再次引起大家关注。2023 在三星人工智能论坛上，三星正式公布了其自研的生成式人工智能模型“三星高斯”(Samsung Gauss)。据官方透露，三星将在其Galaxy旗舰手机当中引入Galaxy AI，并将很快推出AI Live Translate Call功能，能够为用户提供个人翻译服务，三星Galaxy S24系列有望迎来这项AI功能。

在大模型的浪潮下，全球的手机厂商都在加速布局，将人工智能大模型引入手机端侧。有市场分析人士认为，随着高斯大模型的发布，三星有望成为全球首批将大模型引入其设备的手机制造商之一。

如果大家之前对这两款机型有关注和了解，对这些应该不陌生。接下来，我们整理了对于智能手机制造商来说，移动端 AI 有那些应用场景。

智能相机

? 实时识别正在被拍摄的对象和场景，进行摄像头拍摄参数的优化。

? 识别自拍或者人像拍摄，提供背景虚化。

? 拍摄时放大画面，进行自动像素增强。

? 人脸识别，结合专用摄像头阵列，提供 Face?ID。

? 实时翻译：自动实时将摄像头拍摄到的文字翻译为另一种语言。

智能语音助理

? 语音识别：将语音转化为文字，这部分能力可以用于语音备忘录；如果再通过 NLP 处理，理解用户所说的话的意思，并结合上下文进行智能建议（推荐附近的餐厅、影院等）或者直接完成任务（设置定时器、订购机票以及拨打电话等）。

? 自动翻译：实时将语音翻译为另一种语言。

智能系统优化

? 基于用户的设备使用情况，智能管理设备的后台进程，减少耗电量，并且学习在合适的时候进行用户触达。

? 基于传感器数据进行用户行为识别，结合位置数据，进行 life style profiling，让设备被更好地理解自己的使用者，变得越来越个性化和智能化。

应用开发者

对于智能手机制造商来说，能够提供的系统应用毕竟是有限的，更多的用户需求需要应用开发者提供各自的解决方案。对于应用开发者来说，其实也可以提供基础类应用，比如拍照应用、智能语音助理等，如果能够借助手机制造商提供的硬件计算能力，达到比系统自带的基础类应用更好的效果，也会得到用户的欢迎。比如 Google 的输入法在 iOS 平台就比较受欢迎，该应用采用了 Google 提出的 Federated Learning，能够在提供个性化能力的同时，在线优化输入法的预测模型，并在整个过程中不上传用户的输入数据记录，保护了用户隐私。

除了基础类应用，下面这些应用场景对开发者来说也非常值得考虑：

? AR：Apple 的 ARKit 和 Google 的 ARCore 的推出意味着移动应用开发的新趋势出现，优秀的增强现实类应用将通过更好的用户体验和交互获得用户的肯定，而为了让自家的这类应用脱颖而出，开发者除了用好 AR 框架，还需要更好的理解现实场景的能力，比如风格迁移、物体检测等都有相应的适用场景。

? 个性化内容推荐：基于用户的使用记录为用户推荐感兴趣的内容，提高用户粘性。

最后，我们还需要强调的是，无论是智能手机制造商还是应用开发者，都需要考虑对用户隐私的保护。当我们可以在移动端高效运行机器学习以及深度学习模型时，有很多任务可以在移动端做，用户的数据无需上传到服务器进行处理，在保护隐私的同时，也减少了流量消耗和服务器成本。上面提到的 Google 推出的 Federated Learning 就是这样做的，Apple 也在自己的官方机器学习博客中介绍了自己的类似做法：Learning with Privacy at Scale。