FIND研究员∶杨秉哲
最近自然语言界的话题与 OpenAI公司发布的「ChatGPT」开源人工智慧对话机器人服务脱不了关系,这是首个已可被大众使用,且接近自然文字对话品质的的对话机器人。微软最近也看好其发展潜力,计画投资100亿美金於OpenAI,ChatGPT前景一片看好。为了进一步了解ChatGPT如何运作,本文将介绍其背後的技术GPT-3(Generative Pre-trained Transformer 3)。GPT-3由Elon Musk创办的OpenAI在2020年12月推出,是一种基於变换模型,搭配海量高品质的数据集,在巨量运算硬体上训练出的一个语言模型,而ChatGPT则是其调校後的版本,又称GPT-3.5,於2022年11月推出,创造五天内超过百万人使用的纪录。
资料来源∶作者自行绘制
图、ChatGPT背後技术架构示意图
变换模型
变换模型(Transformer)是2017年由Google团队提出的一种语言模型。在此之前,自然语言处理界最热门的是基於循环神经网路(Recurrent Neural Network, RNN)的各种衍生模型(例如∶Bidirectional, LSTM)。一般来说语言通常要考虑前後文,也就是说,一个语言若能考虑前後文关系,对语句判断准确率就会显著提高。Google提出的变换模型采用注意力(Attention)单元,不考虑前後文关系,意即当变换模型收到一个句子时,它直接计算每个词间的关系与权重。
海量数据
光有语言模型没有数据,无法算出精确的结果,OpenAI团队主要使用了「Common Crawl」以及「WebText2」这两套数据库,前者是累积8年间的全网资料,後者则是从Reddit论坛中被标示+3vote(亦即至少有三位使用者认为该连结有帮助)的外部连结网站内容,这两套数据库占了全部使用的数据的80%以上。
巨量运算硬体
GPT-3的模型高达1750亿个参数,比它的前一代GPT-2高出100倍以上,背後训练需要庞大的运算资源,在OpenAI发布的论文中指出,在训练阶段的资料量超过光是最Common Crawl就使用了45TB的资料,训练期间在微软提供的Nvidia V100 GPU丛集以及超高速网路上进行运算,由於运算资源过於昂贵,团队现阶段亦无法再次进行训练。
ChatGPT-3应用现况
GPT-3的应用范围很广,透过迁移学习(transfer learning),它可以进行基础的机器翻译、聊天机器人、生成文章等应用,ChatGPT在加上真人反馈加强学习(Reinforcement Learning from Human Feedback, RLHF)的技术,以监督式学习的方式,加上人工标注的奖励模型,最终调校出接近人类自然语言的表现。ChatGPT目前应用仅限於测试性质,微软投资ChatGPT,规划将其整合进微软的Office服务中,以前创建一个word或powerpoint文件要从零开始,藉由ChatGPT,用户可以预先输入使用目的,由ChatGPT预先产制文件让使用者修改使用。
产业趋势说明
从ChatGPT推出以後,其巨量资料达到的效果让人惊艳,同时亦有企业进行类似的开发应用,例如以色列AI21 Studio正在开发中的Jurassic-1语言模型,然而要训练调校如此庞大的模型,背後需有相当的资本与高阶开发人力,所以产业应用趋势上短期内若需要应用仍会以OpenAI将发布的付费API进行串接。在发展趋势上,若ChatGPT允许企业自行开发RLHF,将可更贴近各领域商业化应用,例如金融机构未来可以应用ChatGPT升级现有的客服机器人;另外,ChatGPT目前对语意较复杂的法遵内容和数字运算上表现仍有改进空间,在开发金融机构客户机器人服务,若涉及这些部分的问答,可能仍须采用混搭模式处理。
资料来源∶
1.Browne, A., (Jan 10, 2023). TECH Microsoft reportedly plans to invest $10 billion in creator of buzzy A.I. tool ChatGPT, CNBC NEWS. https://www.cnbc.com/2023/01/10/microsoft-to-invest-10-billion-in-chatgpt-creator-openai-report-says.html
2.Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901.
3.OpenAI (Ed.)(Nov 30, 2022). ChatGPT: Optimizing Language Models for Dialogue. https://openai.com/blog/chatgpt/
封面图
图片来源∶作者自行绘制
沒有留言:
張貼留言