百度文心PLATO凋谢域对话技术及其运用

laomaike

导读：凋谢域对话技术是天然预处置畛域极具应战的人机对话技术，百度研发的文心PLATO是寰球当先的凋谢域对话大模型，具备多轮番畅的聊天才能。本文将环抱下列几个方面展开引见：
凋谢域对话技术引见文心PLATO技术引见文心PLATO运用引见01
凋谢域对话技术简介
先简略引见下凋谢域对话技术。


凋谢域对话技术属于人机对话的一种。除了凋谢域对话，人机对话还包罗面向工作的对话和问答对话。
面向工作的对话相似于订票、查天气等，这也是大家用得对比多的一种。问答就是有明白的需要，用户间接讯问零碎找谜底。凋谢域对话与后面二者不同，前二者用户要末有明白的需要、要末有明白的场景。但凋谢域对话是在一个很凋谢的场景中进行拟人的对话，能够进行恣意的对话。同时，要求对话零碎有人设、有人格和情感。


凋谢域对话近几年的钻研都是十分炽热的，学术钻研也增长得十分快。在工业界，凋谢域对话的需要也很旺盛。在以后智能音箱、智能屏等装备上都有凋谢域的对话需要，同时像虚构人、虚构助手都波及到凋谢域对话技术。


凋谢域对话的开展历程能够划分为三个阶段：
第一阶段是专家零碎阶段这个阶段次要是经过专家设计对话的规定和脚原本构建对话零碎。好比，凋谢域最先的Eliza机器人是一个摹拟心思征询师的对话零碎。它的战略实际上是对比简略的，当机器人检测到症结词之后，回复专家设定好的回复。机器人的成果仍是对比好的，过后得多心思征询的患者都认为是在和真正的专家对话。在Eliza之后还有Alice和尤金.古斯特曼这种的对话零碎。第二阶段从2010开始，属于检索式对话零碎，这是数据驱动的对话零碎。它经过检索排序的形式从语料库中找到用户以后输出对比婚配的回复。回复的内容都是在语料库中的，像小冰、度秘、Replika都属于这种零碎。第三阶段从2019年开始，凋谢域对话就不停降生出了大范围神经网络模型生成对话回复技术。经过大模型神经网络端到真个形式生成对话回复，如百度的PLATO、谷歌的Meena和Mata的Blender。这种技术的成果目前也是对比好的。固然，目前大模型生成的形式在工业界落地仍是相对于对比少的。所以在工业界上对比主流的技术是检索排序和普通的生成的技术。接上去我会给大家引见一下目前凋谢域中这两种主流的技术是如何完成的。
1. 检索技术原理


检索技术需求筹备一个大的语料库。语料库中每个对话样本都有对话的输出，以及对话的输入。在线使用的时分，会基于用户Query婚配或检索语料库中类似query，并把类似query的回复作为候选回复。再使用候选排序技术对候选话术进行排序，并输入回复。
由于检索技术的回复都是来自于语料库的回复，回复本身的流利性是有保障的。但用query检索候选回复有时分不太合用。在对话场景中，不单要斟酌以后的query，还需求残缺的对话的上文。使用检索技术聊一两轮可能还能够。但在多轮对话中，检索回复可能会泛起多轮不联贯、不流利的问题。
2. 生成技术原理


在学术界，大家会去钻研生成的技术。检索技术是一个pipeline的形式，先检索候选内容，再进行排序。生成式是端对真个技术，会将以后query的上文总体输出到模型输出端，模型通过编码、解码进程后输入回复。这类模型也需求语料库，但这种语料次要是用来离线训练的，训练模型学会按照输出生成对应回复的才能。这种模型个别分为两部份：编码器Encoder，担任将输出进行编码，将其表现成向量；之后再使用解码器Decoder解码，解码出回复中一个一个的词。生成技术是一个彻底端到真个生成，它是从无到有的生成。也就是说，它能够生成一个语料库中没有的回复。假如模型学习得对比好，它能够按照恣意上下文生成适合的回复，它的天花板对比高。
在早几年的时分，生成式的技术不可熟，生成式回复会泛起一些平安回复（万能回复）的问题。由于生成模型学习到的是一些几率瓜葛，生成万能回复的几率就会高一些。好比，不论用户输出甚么内容，生成模型可能都会回复好啊、行啊、哈哈之类。
3. 凋谢域大对话大模型开展历程


从2019年起，大家就开始进入凋谢域对话大模型的钻研，这个技术会使生成式对话有了质的晋升。
百度PLATO最先在2019年10月份推出，过后仍是一个范围不算很大的一亿参数的英文对话模型。在2019年十一月，微软推出了DialogGPT。
2020年1月谷歌公布了Meena。Meena把对话大模型的参数推动到26亿，对话成果也失掉质的晋升,多轮对话也是对比流利的。从这个时间节点开始，对话大模型的成果曾经开始赶超检索的模型。
2020年4月，Meta推出了Blender，这个模型的参数范围达到了94亿。百度在2020年8月公布了PLATO-2的模型，初次公布了中文对话模型，固然也有英文对话模型。全部对话的参数不是很大，有16亿的参数，成果曾经超过了竞品的程度。再之后，清华和智源一同公布了EVA中文对话模型，参数范围达到28亿。
2021年9月，百度公布了PLATO-XL，这是寰球首个百亿参数的对话大模型。
2022年，谷歌英文对话模型LAMDA的模型参数又晋升一个量级，达到1370亿。
02
文心PLATO技术引见
接上去，引见一下百度在凋谢域对话的技术，即文心PLATO。


这是百度文心PLATO钻研的框架。
PLATO是数据驱动的，在数据上咱们做了少量的任务，包罗构建大范围的预训练语料。另外，还人工建立了一些标注语料，同时引入了常识数据和各类办事API。在技术研发上，咱们建立了三个预训练对话模型，即：PLATO、PLATO-2、PLATO-XL。在预训练模型之上，咱们对对话才能进行加强，让对话拥有人格属性，包罗人设不乱性、常识加强、跨模态对话、情感安抚、被动对话、长时间记忆等。同时，咱们也将对话才能运用到百度的各个产品线，好比：小度聊天，百度推出的虚构人对话，畛域对话。除了在公司内使用，咱们也经过UNIT平台，对外输入对话技术。
接上去重点引见百度的PLATO技术。首先，引见一下PLATO在预训练模型上的技术。


2019年，咱们初次公布了PLATO对话模型。在这个模型中，咱们翻新性地提出了“隐变量”这个概念。
凋谢型对话拥有一对多的特征，用户输出query后，零碎能够有多种多样的回复。每个回复有不同的性质，好比，输出“我得健身了，不克不及纵容了”。能够给用户倡议、讯问、质询、质疑等类型的回复。除了这类瓜葛外，还会有对话面前的场景信息，这会致使凋谢型对话一对多的瓜葛，这会致使模型学习很难题。假如针对一个输出，有特定的输入，模型的学习会相对于简略。但当模型的输入不肯定，乃至有多种多样的输入，这就会致使模型学习繁杂。
针对这一问题，咱们提出隐变量建模输出和输入的映照信息。它不是一个显式的建模，而是一个隐式建模输出和每一个个输入的对应瓜葛。这就会让原来的输出和输入一对多的瓜葛，转化为一对一的瓜葛。咱们经过在输出减少soft token的形式，让transformer建设输出和输入之间的瓜葛。Transformer不是独立的编码器和解码器的形式，咱们选择了使用编码器和解码器同享参数的形式来完成即unified transformer。
第一阶段，先按照输出和输入预测隐变量的散布。第二阶段，从散布中采样隐变量，将其参加输出中再去学习按照隐变量和输出预测回答的才能。这是PLATO隐变量的概念。


在此之后，咱们推出PLATO-2，将模型参数量级推动到16亿。模型有32层参数，也公布了中文对话模型。PLATO-2是在10亿量级的人类对话样本中进行训练的，对话样本是从百度产品线的业务数据自动挖掘的。在该模型中，咱们对训练形式也进行了优化。
带隐变量的学习繁杂度仍是对比高的，咱们将训练进程分为两个阶段。
第一阶段，不带隐变量，间接按照输出去学习输入。第二阶段，参加隐变量进行学习，训练生成模型。同时，在模型中训练了一个评价模型。经过生成模型生成的是多个候选回复，使用评价模型对多个候选回复进行排序，终究失掉输入。


在2021年，咱们将模型的范围推动至十一0亿，这个模型有72层。除了模型范围的扩张，咱们也引入了role embedding的特点来感知角色信息。由于在对话上文中，既有用户的输出，也有零碎的输出。咱们在role embedding中区别用户和零碎的角色。在原有transformer模型三个特点,token、sentence type、position的根底上，咱们新增了role embedding的信息。这会让模型更好的掌控角色。


这些模型的成果如何？咱们比较了PLATO和内部的竞品，在凋谢域多轮聊天上进行成果比较，上图左边图片为竞品case，在多轮聊天中泛起了几个尬聊的场景。一两轮聊得还能够，但多轮就有点尬。上图两头图片为百度PLATO的多轮聊天成果，能够看到PLATO在多轮聊天的流利性表示就会更好一些，多轮聊天的时分仍是很流利，很天然的，觉得是在和真人聊天同样。
咱们也做了一些量化的测评。好比，在中文凋谢域聊天上，在几十个对话话题中找数据专员进行人机多轮对话（八轮以上），比较百度和竞品的成果。咱们比较了对话公道性、丰硕度和吸引度几个维度，其中，白色是百度PLATO的表示。能够看到PLATO比竞品的表示是好得多的。咱们也在英文数据上进行评价，百度PLATO也会比竞品的成果更好一些。


后面引见了百度几个预训练模型的完成形式以及成果。咱们也发现，虽然大参数训练模型能够和用户进行多轮番畅的对话，但仍是存在几个方面的问题。接上去引见一下PLATO模型目前存在的应战，这也是凋谢域大模型广泛存在的应战。
1. PLATO应战一：人设不乱性及定制化


第一个应战是人设不乱性及定制化。
上图左边是PLATO预训练模型的成果。能够看到在姓名上零碎的回复十分不不乱，一会叫陈二狗、一会叫小雅、一会姓刘。学校和专业的信息也是十分不不乱的。能够看到人设十分不不乱，这也是目前广泛存在的问题。
同时假如将凋谢域对话大模型用于特定虚构人、语音助手场景时，虚构人或语音助手是要有特定的人设的。好比，叫甚么、春秋多大、职业是甚么。咱们但愿虚构人对话内容和设定的人设放弃统一。
同时，咱们也但愿人设能够定制化设定。好比，PLATO模型会用在不同的虚构人身上，这些虚构人都有本人的人设。咱们不但愿针对不同的人设训练不同的模型，咱们但愿一个模型能够反对不同的人设设定。在实现设定后，虚构人就能根据设定进行对话了。这就是人设定制化的需要。


百度在人设不乱性上钻研的时间对比长，咱们比来找到了一个对比适合的解决计划。咱们先在预训练模型上减少画像信息，但由于预训练模型有十亿量级，给整个对话减少一切可能维度的画像信息难度对比大，所以咱们只减少了五个维度的画像信息。之后，对对话大模型进行预训练。训练实现后，对话大模型就具备了使用用户画像信息的才能。
预训练只见过五个画像维度的信息，而实际业务有更多的画像维度，这块应该怎么解决？
咱们在推理或预测的时分采取了in-context prompting的形式解决。把名字、喜好等设定的画像信息转化为问答对的方式，把问答对作为对话上文的一部份。这样模型在回复的时分，就能很好的放弃与以前设定人设统一的才能。
咱们针对14个画像维度在测试数据集测试，画像问答精确率能够从预训练以前的15%晋升至93%。斟酌到对话模型不单用户问问题的时分会提到画像信息，在普通聊天的时分也会提到画像信息。因此，咱们对聊地利的画像统一性进行了测试。咱们在多轮对话的测试集测试画像信息的统一性，精确率从45%晋升至85%。全部模型的成果晋升是十分显著的，这部份的任务咱们也在进一步的整顿中，后续也会对外公布。
这类形式能够使画像反对定制并放弃回复与画像统一的才能。但人设不止是画像的信息，可能还波及到对话格调、三观。这些仍是目后面临的拥有应战性的问题，也是咱们后续的钻研点。
2. PLATO应战二：长时间记忆


第二个应战是长时间记忆。
在对话的过程当中，用户实在使历时会分屡次和对话零碎进行聊天。好比，第一次和用户聊天，零碎讯问用户姓名，用户说本人叫小张。零碎能够持续讯问用户的任务等其它信息。但当用户第二次使用对话零碎，零碎就不克不及再次讯问用户的姓名、任务。更公道的形式是，零碎知道用户的姓名，间接问好。好比，零碎对用户说，小张你好。这就是咱们但愿零碎拥有的长时间记忆才能，零碎可以记住用户对话的历史。
左边图片咱们线上大众号的一个真正的case。零碎会重复讯问用户叫甚么名字。固然零碎的问法会有一些差异。好比，用户和零碎聊了两百多轮对话。在这两百多轮对话中，零碎问了用户好屡次名字的信息。
对比适合的长时间记忆的才能应该如右图所示的场景。好比，用户和零碎聊天的时分告知零碎本人有个小狗叫贝贝。再过两天用户提到贝贝生病了，此时零碎应该回复用户带狗狗去宠物病院，而不是讯问贝贝是谁。过几天之后，零碎应该讯问贝贝生病好了没，对用户展现关怀，让用户感觉很亲切；而不是讯问用户是不是有宠物，让用户觉得零碎很不智能，明明以前曾经告知机器人本人有宠物狗。


咱们以为在聊天中，用户相干的画像信息是最首要的，如：姓名、性别、喜好、春秋等信息。经过画像提取的形式，将用户和零碎的画像进行提取，并将其写入到记忆库中。记忆库能够对用户和零碎的画像信息进行存储。在对话的时分，能够按照对话的上下文从记忆库掏出和以后上下文相干的画像信息。记忆库中可能有成千盈百的画像，不成能将记忆库一切画像都参加对话模型中，因此咱们将对话上下文相干的画像信息提掏出来作为对话模型的输出，PLATO模型再按照输出信息输入适合的回复。
这类形式的可解释性对比高，可控性也对比强。但关于模型来讲，要记载的不单单是画像信息，像用户的阅历、用户的观念信息也是需求记载的，这也是长时间记忆中需求去记载和钻研的问题。咱们下一步也会在这部份持续钻研。方才提到的效果也曾经公布到往年的ACL会议。


刚提到为了对长时间记忆进行技术研发，咱们也建立了相应数据集。这个数据集除了有对话数据以外，咱们也设定了机器人本身的画像和用户的画像。咱们会将用户的一部份画像作为机器人的已知输出。在用户侧，用户有的信息是曾经告知机器人的，有的数据是没有告诉机器的。咱们让标注员摹拟机器人的角色，按照已知的信息和用户对话。咱们大略有两万多组的对话数据。这个数据集叫DuLemon。这和论文是同时公布的。
3. PLATO应战三：常识精确性和丰硕性


第三个应战是常识的精确性和丰硕性。
预训练预感中的常识是对比稠密的，咱们从网上、论坛挖掘的人-人的对话语料很少提到常识信息，对话模型学习到的常识也不敷精确，回复的内容也不敷丰硕。好比，左图顶用户问唐代的第一个皇帝是谁，机器人的回答就张冠李戴。除了回答不许确以外，由于对话语料好多都是好几年之前的数据，对话也会不足实效性。好比，在新冠对话时，对话语料压根不知道新冠这件事，也不克不及做出回答。


咱们以为在互联网上有海量的办事型的资源，如：常识问答、天气查问等。这些面前都蕴含着少量的常识，这些常识的时效性和精确性也是能够失掉保障的。咱们但愿将这些常识运用到对话模型中。
咱们经过检索的形式去申请办事资源。模型按照对话上文生成查问query，再在建立好的查问API办事中检索对应的常识。目前的API中集成百度语义检索接口和DuerOS接口，按照接口查问出的办事型的资源会输出到PLATO模型中，进而生成回复。即学生成query，再检索常识，再引入到模型生成回复的解决计划。其实Mata在Blender中也提到这个概念——Wizard of Internet，先经过query去互联网检索常识，后运用到模型中。但他们是使用query去搜寻引擎检索文档，检索文档的数量对比多，文档注释也对比长，这会让模型学习起来更为难题。咱们的解决计划不是引入残缺的文档信息，咱们经过办事API的方式检索办事，获取对比精确的信息，这样模型学习起来也更易。咱们将这部份任务叫做PALTO-SINC。


咱们先用PLATO模型按照 Context、User 的信息，以及Query生成的管制标签生成查问Query。其顶用户在查天气、左近景点时会用到地位信息，因此将地位信息同步引入。接上去，再用query去检索API进行常识检索，将失掉的常识增补到PLATO模型的输出中，模型基于常识输出和对话上文生成对应的回复并输入。其中，回回生成模型和query生成模型的参数是同享的。这就是PLATO-SINC模型的架构。
咱们也建立了相应的数据集，咱们在自建的标注工具上人工标注了少量的数据。咱们让标注人员摹拟零碎的角色，摹拟零碎角色的标注员回复时分会思考该用怎么样的query，再用query去常识检索API检索，记载相应的信息并将其作为训练语料。这部份数据咱们目前还在继续建立中，大略有1万多组的对话，包孕3万query，波及到2600多个话题。这部份任务咱们也会很快公布出来。


这是PLATO人机对话真正的case。假定用户在百度科技园，用户讯问：当初几点了？之前工作型的回复是十分生硬的形式回答当初几点了。但咱们会经过查问query检索相应的信息，给用户回复以后的时间并对用户表现关怀，这会显得更为的拟人化。这样不只回复了常识，对话也更为流利。好比，用户要保举吃的，咱们会在API中查问左近有甚么好吃的query并将后果回复给用户。又好比，用户讯问比来美观的电视剧时给用户回复最新时效的电视剧；并在用户提及本人喜爱刘亦菲的时分为用户检索刘亦菲电视剧相干的内容给用户回复。全部对话进程包孕共性化、时效性以及被动为用户进行常识查问，全部对话常识丰硕性和流利性也会更好。
4. PLATO应战四：被动对话-DuConv数据集


目前对话零碎的被动性不是很强，大部份是用户说一句零碎回答一句，对话的被动性不是很强。咱们以前也钻研了被动对话的才能，公布了DuConv的数据集。咱们给零碎设定好要聊的门路，好比从开始、到某个电影、再到导演，也会给零碎提供门路中的实体波及到的图谱的常识，让零碎被动和用户发动对话。目前数据集曾经对外公布了。
5. PLATO应战五：PLATO其它应战


除了方才的应战，对话零碎还面临一些其它的应战。
在情感安抚维度，用户说本人不开心时，目前可能会回复：你有啥不开心的，说出来让我开心开心。咱们以为这类回答不是很适合。咱们但愿在用户情绪不是很好的时分能够和用户共情，给用户一些情感安抚，让用户情绪失掉减缓。另外，由于对话没有时间的输出。零碎感知不到时间信息，就会致使回复的时间不合错误。如，中秋节时零碎回复情人节，或晚上了回复用户早上好。此外，目前对话是端到真个生成，如何将回复管制在适合的规模内也是一个对比大的应战。目前零碎从大语料中学习了一些要地址和要微信的信息，在人与人对话时这是很公道的交互，但在人和机器对话时这就很分歧适。以上是目后面临的应战，咱们也会继续地进行钻研。
03
文心PLATO运用引见
上面简略引见下PLATO的运用。


PLATO目前在小度聊天上曾经上线使用了，次要用在小度的沉迷式聊天场景中。好比，和小度说咱们聊聊天吧，就会触发PLATO对话的才能。当初次要在智能屏上，零碎将用户的语音信息转化为文本并输出到PLATO，获得对应的输入并前往给智能屏。


另外，百度输出法做了一个AI侃侃的虚构人对话。目前虚构人对话有林开开和叶悠悠两个虚构人。咱们也经过PLATO去提供虚构人的对话才能。在这个场景中建立了不同对话才能相干的语料，如情感安抚、长时间对话、话题对话以及格调对话，进而定制化训练PLATO模型。这个模型也会被用到两个虚构人身上。
咱们将PLATO的百亿模型上线到微信大众号了，大家能够间接体验咱们的对话才能。这个是PLATO-XL的百亿模型，像刚提到人设不乱、常识对话等的应战性的问题的解决计划目前尚无上线，咱们会继续进行上线。
假如想间接使用咱们的API，能够在百度UNIT平台请求聊天技巧，咱们提供了多轮版和多轮体验版的对话才能，大家能够经过API接入将对话才能在本人的产品中使用。
04
Q&A环节
Q1：中文模型有可能开源吗？
A1：咱们的数据来源于网上用户真正的对话数据，有得多隐衷相干的问题，目前临时不便利间接开源。咱们后续会想一些别的方法，让大家使用到这个模型。
Q2：PLATO-XL为啥去掉了隐变量？这会损失一对多的成果吗？
A2：隐变量在大模型中训练时会对比难题和繁杂，代价也对比高。因此咱们在PLATO-XL中咱们临时去掉了隐变量，这样一方面能够勤俭训练资源，另外一方面也能够放慢训练的速度。
去掉隐变量会对成果有一些损失。但咱们发现跟着范围的的增大，影响会愈来愈小，这部份咱们还在继续验证中。
Q3：数据有多大的量级，如何获得的？
A3：中文数据有十二亿对话样本。这个是从百度业务数据自动构建出来的。
Q4：PLATO迭代的时分会关注哪些自动的评价目标？
A4：凋谢域对话成果评价仍然是对比有应战的问题。在研发的过程当中，咱们会首先用ppl目标看模型是不是收敛。模型收敛之后咱们会去看模型的blue值、F1值以及distinct值去看模型的成果。但更首要的仍是人工评价，咱们从回复的公道性、信息丰硕度和回复吸引度几个维度进行人工评价，进而肯定对话模型的成果。最症结的仍是人工评价的成果。
Q5：PLATO的回复都是好几个句子，不是简略的短回复。想问下PLATO如何做到回答的信息量对比足，且能够反诘用户问题的？
A5：在对话语料构建时，咱们删除了对比高频的回复。咱们以为对话语料中泛起频次在100次以上的回复属于万能回复，会将这部份数据从语料中去除，所以模型就不会学到这类对比短的回复。
Q6：PLATO-XL去掉了评价模块吗？
A6：是的，PLATO-XL去掉了隐变量。评价模块次要是针对隐变量的，在推理的时分设定不同的隐变量生成对应的回复，再使用评价模块去评价回复的品质。在PLATO-XL中，没有隐变量，因此也没用评价模块。
Q7：小度的闲谈模块是生成式的吗？如何解决QPS的问题？
A7：小度是接入PLATO的，是生成式的。
小度上有多个版本的使用：普通的闲谈不是沉迷式聊天是使用了检索式的形式来解决；沉迷式聊天中，咱们接入了PLATO模型，但由于一些缘故咱们临时先下线了，很快会上线。后续在小度智能屏上领会的聊天根本就是PLATO的对话成果。
刚提到的QPS的模型，PLATO大模型的QPS对比低、延时对比高，咱们使用了一些萃取、底层算子融会的战略，对对话模型的推理速度进行减速。同时，咱们也将模型合用到计算本钱对比低的百度自研的昆仑芯片上，使得大模型可以在小度这类吞吐量对比高的产品上线。
实际运用中也会有一些好比小度人设的问题，这些问题是相对于收敛的，所以在运用中，小度的闲谈也会分层。这也会解决部份对比高频的QPS的问题，好比：问小度几岁了，咱们有零碎通用的相似用户画像的解决计划，这会cover住对比高频的问题。
Q8：同一个问题会失掉不同的回复，这是甚么战略保障的？
A8：咱们在解码的时分会使用top-k sampling的战略。战略会对每个step从预测几率中采样回复，每次采样时会随机采样，这就能包管每次生成的回复是纷歧样的。
Q9：谷歌的LAMDA模型引入和同理心、敏感等，PLATO有相干的探究吗？
A9：咱们会做情感陪伴的聊天，但愿在用户有负向情绪时，零碎能够和用户发生有共情的对话。
Q10：微信大众号或零碎中除了生成模型，会用到预处置或后处置的模块吗?
A10：目前是端到真个模型，没有预处置的进程，独一的预处置是提前做分词。后处置会去做去重，检测生成的回复和以前的历史对话是不是有反复。
明天的分享就到这里，谢谢大家。
分享佳宾：吴文权 百度 主任研发架构师
编纂整顿：田育珍 搜狗
出品平台：DataFunTalk
01/分享佳宾


吴文权｜百度主任研发架构师
吴文权，计算机硕士钻研生，13年入职百度天然言语处置部，努力于凋谢域对话前瞻技术研发和运用，曾获百度最高奖。
02/对于咱们
DataFun：专一于大数据、人工智能技术运用的分享与交流。发动于2017年，在北京、上海、深圳、杭州等城市举行超过100+线下和100+线上沙龙、论坛及峰会，已约请超过2000位专家和学者参预分享。其大众号 DataFunTalk 累计出产原创文章800+，百万+浏览，15万+精准粉丝。