把场景转化成语音，AI技术如何帮忙视障者？

苍穹之雪007

作者｜西西弗
蔓小妮是安徽一名28岁的女孩，她长相甘甜，看起来与一般人无异，简直天天都在抖音上分享本人的糊口视频，还积攒了2.3万粉丝。她签名里写着，喜爱唱歌，性情爽朗，也很刚强。
但她是一名视障女孩。
与正一般人比拟，视障者在糊口中面临诸多未便。社会对他们糊口的改良可能仅限于增建更多无障碍出行设施。但实际上，他们与正一般人同样有多样化的糊口需要。


好比，她们也想化妆，也想打游戏，也想接触各类任务时机，而不是承受去推拿院做盲人推拿师的宿命。
假如有强力辅佐的话，他们的前途不会被困在推拿院里，等候不肯定又拥有危险的糊口。
按照数据显示，全中国目前大约1700多万视障者。愈来愈多的社会气力曾经关注到这一群体，并试图用技术和公益的形式来帮忙他们解决理想糊口中的窘境。


盲人是怎么看短视频和直播的？
小志与蔓小妮同样，都是视障者。几年前，小志在考研路上突发疾病致使了视力急速降落，并且不成逆。


世界变得隐约之后，小志的糊口也迷茫过。起初他注册了抖音账号，经过视频的形式，以亲自阅历告知跟他有一样阅历的小火伴，不向命运屈从，争夺更精彩的人生。
他在抖音上次要分享视障群体如何糊口的视频内容。好比，视障者使用电脑小技能，以及视力欠好如何点菜，如何发帖评论等。
你可能会很猎奇，视障者是如何使用手机的？
关于正一般人来讲，看图标就能使用手机，但关于视障者来讲，他们需求在手机上装置特殊软件，或者把手机设置为旁白模式，经过听觉来使用。好比，苹果手机里自带VoiceOver。
在苹果手机中，点击通用里的辅佐功用，就能关上VoiceOver的“旁白功用”。在这个功用下，用户手指触摸得手机的任何一寸屏幕都会先以旁白的方式收回语音提示。
“正一般人使用手机，点一下图标就能关上APP，咱们点一下手机首先跳出来的是旁白的声响，告知咱们摸到的是哪一个运用，而后咱们经过双击关上。”一名盲女推拿师告知剁椒TMT。
在读屏软件的帮忙下，愈来愈多的视障者正在经过短视频平台开启更大的世界，乃至还有视障者在抖音开直播，赚钱养活本人，也有视障者经过卖美妆产品，获取了本人的第一桶金。
像抖音上的肖佳，就是一名视障者的美妆博主。在她的签名里写着，就算看不见，我也要美。
为了学习化妆，肖佳要记住每个化妆品的名字以及包装外形。为此，她让女儿给化妆品贴上盲文标签，再靠记忆力记住色彩变动。她还经过一遍一遍的上妆、卸妆来记住高光和腮红究竟打多少才算适当。


如今，肖佳能够在短视频中分享本人的妆容和穿搭，还能够精准地描画手里拿着的衣服样式。
不外，手机里自带的软件只能解决视障者一些使用手机的根本需要，他们的糊口中仍然存在诸多未便。好比，早上穿袜子究竟穿甚么色彩，能力搭配本人的衣服，直播间里展现出来的服装究竟是甚么样式，甚么材质？
“咱们在使用手机的时分，屏幕上的文字能够经过读屏软件听失掉。但遇到图片，特别是图片上的图案和文字的时分，理解起来对比难题。”上述盲女推拿师告知剁椒TMT。


AI技术如何解决视障群体的糊口困难？
找图片的确是视障群体创作的过程当中的一大困难。即使有一全部图库，他们也纷歧定能找到一张高清又适合的图片。
不久前，由抖音团体、北京字节跳动公益基金会等组织举行的“AI助力视障群体”的“技术公益翻新杯”大赛决赛举行。针对视障者找图片难、选图难的问题，大赛上一支名为BANG的团队专门做了产品升高视障者在图片方面的门坎。


“咱们次要是让视障者具备图象编纂才能。好比如何主观的形容这个图象，有些词只要非视障群体能了解，视障群体是不克不及了解的。因此咱们做了一个形容的按钮，视障者赞成点开，看一下是不是满意，满意才会持续。”来自BANG团队的成员引见说。
事实上，视障群体能做的事件远超越外界的想象，只是受限于理想前提，他们的需要并无被失掉很好的知足。技术的冲破带来了更多可能，拓宽了需要的界限，同时也逐步消弭视障人士和非视障人士之间的社交鸿沟。
一次偶尔的时机，抖音团体产品经理、熊猫美妆名目的队长在抖音上刷到了肖佳的美妆视频，并迅速分割到她。看到肖佳对化妆的酷爱与坚持，任锴锴开始思考，假如做一个公益美妆名目对市场、人群的价值到底在哪里。
因而，任锴锴开始了用户调研。他发现，视障者化妆过程当中，一个不言而喻的困难是，她们无奈从镜子中看到本人妆容，也无奈鉴别色彩，更别提进行局部妆容的纤细调剂，只能经过敌人获取反馈信息。这样一来一回，十分损耗时间。
假如能经过AR技术，辨认出视障者化妆过程当中哪步是对的，哪步是错的，将极大地升高她们的化妆门坎。
为此，熊猫美妆在产品上减少了一个“内容纠偏”的功用。它能实时反馈给视障者，眼线有无花长，口红有无出界，物料的色彩也能给出精准地提醒。
在这个过程当中，熊猫美妆需求战胜的第一个困难是，因为收集视障者眼部信息难题，互联网行业没有针对这集体群的面部数据库。因此，在算法的精度上是有很大缺失的。产品后期的精度可能只要一半摆布，但目前，视障用户们在给出更多的数据反馈。
“化妆是视障者的根本权益。当咱们开始想，她们为何需求化妆的时分，自身就是对他们的一种歧视。”任锴锴说。
熊猫美妆解决的还只是视障群体在垂直糊口畛域的需要。那末，灵瞳团队则解决更多视障者糊口中存在的广泛问题。
好比，天天早上睁开眼睛，如何根据色彩搭配本人的衣服，去冰箱寻觅本人喜爱的食品能不克不及找到，会不会曾经过时了？灵瞳开发的APP能够经过回答问题的形式，间接获得这些信息。


“AI语音和视觉技术能够疏导视障者更快更精确地找到相应内容。用户能够经过对话形式定位物体的详细地位。好比，想找一个黄色的货色，你能够拿着摄像头去寻觅，一旦你找的指标泛起，灵瞳就会提醒你地位，在屏幕的左边仍是右边。”灵瞳担任人表现。
在视觉辨认的根底上，灵瞳的产品还参加了智能信息检测。也就是说，一旦有身份证、银行卡等私密信息进入拍摄规模内，APP会自动收回提醒，以避免以及视障者有意间泄漏本人的症结信息。


抖音团体的公益进阶
创作大赛中十二组参赛队伍分别提供了对于视障人群出行、办公、购物、美妆、游戏等需要的智能解决计划。终究，灵瞳、熊猫美妆等团队拿到了决赛的现金嘉奖。
抖音团体将就决赛中这些有价值的名目进行孵化和落地，成为切实可用的产品。
除了现金嘉奖之外，抖音团体也在技术和人材上反对视障公益技术和产品的研发。
本次AI翻新大赛进入决赛的十二支团队大部份都来自字节外部，他们有些是产品经理，有些是工程师，部份是来自清华大学等高校的先生。他们平时仍是定时下班，周末和其余劳动时间来研发这个视障公益产品。
任锴锴表现，公益不该该是有门坎的，它应该是能够复制的。“好比咱们在深圳做了这个产品，那末，在北京，上海的小火伴们也均可以做；第二，咱们不但愿这个产品真的办事几千万人，咱们做不到，假如能办事100或者1000个用户，咱们的名目就是胜利的。由于比拟个别的互联网产品，公益名目最首要的就是落地，可以帮到那些真正需求帮忙的人。假如这个产品可以帮忙100集体完成化妆自自在，咱们的产品价值就十分大了。”
这曾经不是字节第一次针对视障群体的公益行为。从2019年开始，抖音就启动了信息无障碍优化，经过开启 Google TalkBack（或第三方屏幕浏览）功用，将用户在屏幕上触摸选中区域的内容诵读出来，使得视障者能够按照诵读的内容获得本人以后操作区域的信息，从而晋升视障人士的使用和交互体验，顺畅地操作APP。
在内容上，平台还开启了残障公益创作者招募搀扶方案，优质内容和优质创作者无机会获取流量搀扶和民间长时间协作时机，该方案旨在疏导更多人关注、帮忙障碍群体。
2021年，西瓜视频上线了“无障碍影院”频道，均匀每个月上线10部以上无障碍影片的频次。目前，无障碍影院曾经上线了超过100部作品，包罗涵盖《我不是药神》、《大鱼海棠》等。用户只需关上西瓜视频,搜寻“无障碍影院”便可进入频道,选择影片开始“观”影。


观影过程当中，从演员表到谢幕，除了演员的台词和配景音音，任何空白镜头都有西瓜视频的任务人员做旁白进行精准形容。好比，何润东主演的《各处狼烟》这部电影一结尾，是一个阳光明丽的夏日午后，旁白是这样说的：阳光穿过茂密的树林，这里是枫林渡镇，顺着细弱的树干延长，枝杈出有个抱着枪睡午觉的士兵……
过来几年，作为一家科技公司，如何做好公益，是抖音团体高层始终在思考的问题。
为进一步发扬“互联网+公益”模式的微小影响力，抖音团体联结多方气力发动了数个不同的公益名目。抖音公益相干担任人李涛曾表现，公益应该数年如一日，把一件事做穿、做透。