opai訓練語言模型gpt
编辑整理：整理来源：油管，浏览量：71，时间：2023-03-29 15:00:01
关于opai訓練語言模型gpt内容导航：
1、opai訓練語言模型gpt
补充知识： 有知情人士透露，国内搜索巨头百度，正在计划来自推出一款类似CtGPT的AI聊天机器人服务。该知情人士称，百度计划在3月份推出CtGPT风格的应用，最初将其嵌入主要搜索服务中。该工具的名称尚未名步行素攻求石载早确定，但它将允许用户获得类似CtGPT的对话式搜索结果，为用户的使用提供便利。而这个消息一经传播，导致2月1日晚百度股价迎来急速拉升，涨幅一度逼近15%，代表资本看好百度推出“国产CtGPT”。
去年一整年，CtGPT在全世界各个地区刮起一股旋风，而今这股风潮王粮律何写都走参当又径终于来到中国。那到底Cha修势tGPT究竟是什么，为何能在这么宜专临述短时间之内在全世界引发狂潮？现在就让我们来初步了解一下CtGPT-----一窥这个可能对我作表究视右集社引们今后生活会产生翻天覆地变化的新兴物。
Ct内GPT究竟是什么？
打开网易新闻 查看精彩图片
CtGPT这一套工具是由位在美国旧金山的五清械植Op AI开发，其中特斯拉句状材还迅谁钢聚话乐创办人伊隆・马斯克也是创办人之一。不过，2018年时马斯克因与其他创办人对发展方向意见分歧，而离开Op 存说志得其笑AI。
CtGPT是一套「文本生成」的技术，也就是说透过你输入的文字让AI做判断，而产出相对应的回复。 不过在技术的何零别连械农论含关探初期可能会因为AI数据库、计算方式等因素有答非所问的情形，随着训练的充足和技术的成熟，在分析过大量文本后就能给出越来越精准的答复。 像是大家常用的siri就是一种透过AI来给予回答的工具，不过CtGPT除了可以回答你的需求，甚至可以帮你写CODE。
CtGPT究竟和Siri、小爱同学、小酸度等语音助手有啥区别？
打开网热向皮唱手最修易新闻 查看精彩图片
不能将CtGPT简单理解为Siri、小爱同学、小度试它等语音助手，它们和CtGPT的差距堪比蚂蚁和大类初开伯而感极娘水兵象。CtGPT几乎能吊打现在市面上的语音助手，分分钟比得上一个受过高等教育的普通人。
打开网易新闻 查看精彩图片
有人在网上做过测试，在生活建议、专业知识、情感问题、创造工作四个方面，让ctGPT与小度、小爱同学和天猫精灵，进行了一次正面PK。与语音助手相比，这个AI定位清晰、态度谦逊，部分回答专业，注重个人隐私，情商也很高，表现堪称优秀使导视直粉。
例如对于“有什么好喝的广东老火汤推荐？”对于这个问题，ctGPT不仅简要介绍了广东老火汤，还推荐了牛腩汤、喜序瑶柱鸡汤、生姜肉汤、八宝粥这四种。而在语音助手天猫精灵那里，却只收到了“你把我问醉，还让我心碎”这样的无厘头回答。
这只是CtGPT展现出的诸多优势的其中一面，随着你对CtGPT有了更加深入了解和运用之后，你会对之前把它简单视作一个语音助手而表示忏悔。
CtGPT运行原理？
打开网易新闻 查看精彩图片
CtGPT的开发者是一家专精于人工智能的组织OpAI，OpAI曾经推出输入文字便能输出图像的DALL-E、给定音乐风格和歌词就可以产出音乐作品的Jukebox，以及2020年推出时震撼全球的语言模型GPT-3。
根据OpAI的介绍，CtGPT就和先前曾推出的「打电玩机器人」OpAI Five一样，都是通过由人类提供回馈的增强学习训练而成。 增强学习的原理类似小朋友在玩电动游戏，即使在场没有成年人指导，儿童仍可以在不断的试错当中，借着每次挑战所获得的正向与负向回馈，找到能够通关的策略。
训练CtGPT时便是仿照上述概念，OpAI先请模型的训练者们同时扮演用户和人工智能助手（即现在的CtGPT）的角色，创造一定数量的数据，让机器认识到对话的基本策略。 接着，为了让机器学到相对较佳的对话内容与模式，训练者会扮演用户向机器担任的人工智能助手发话，此时训练者会提供建议帮助机器撰写回答。
为了让机器「学习」，训练者会撷取机器撰写的不同语句，接着「告诉」机器回答内容的品质高低。 这些线索有如「小朋友齐打交」的正向与负向回馈，机器可以藉此改善产出，并回头更新其产生回答的策略，就这样一步一步的离成品迈进。
为何CtGPT如此厉害？
打开网易新闻 查看精彩图片
2016、2017年，AlphaGo接连击败围棋名宿李世乭与柯洁，引发世人们热议，然而，那毕竟是用途相对狭隘的弱人工智能（weak AI），相较于在围棋界独孤求败的AlphaGo，CtGPT的应用场域显得贴近生活，离泛用、接近人类的强人工智能（strong AI）更进一步。
不过，CtGPT仍属于弱人工智能的范畴，它的设计目标是模仿人类的对话，背后的运作原理与人类的逻辑推理不同，而是从预先训练的数据中找寻能够对应的素材，多番拼凑后产生回答。 但是，对一般人来说，机器能够如此流利的和人们交谈，就已经足够惊人。
CtGPT的优异表现，很大部分要归功于它所站立于上的巨人肩膀，也就是GPT-3。
当然，使用无监督的数据生成模型说来容易，但实务上的挑战甚巨，因为训练模型需要大的运算能力，这意味着燃烧资本。
就第一代GPT模型来说，预训练的数据量达到约5GB，使用到的参数接近1.2亿。 隔年（2019）OpAI发表GPT-2，预训练的数据量暴涨，直接冲高到40GB，使用到的参数更是来到15亿。 OpAI并没有停下脚步，在2020年又释出了GPT-3，这次的数据量翻了千倍，达到45TB，而参数量也升级到1，750亿。
OpAI并没有公布训练GPT模型所投入的资金。 但就深度学习企业Lambda Labs的首席科学家推测，若是利用最便宜的云计算服务训练GPT-3模型，需要花上至少460万美元、耗时355年才能训练完成。
CtGPT有什么用法
打开网易新闻 查看精彩图片
就跟两年前的GPT-3一样，除了写作业、写程序以外，CtGPT也有更多元的有趣应用。
我们实际请教CtGPT「有什么使用人工智能产出文字的酷方法」，CtGPT「稍作思考」后，针对自身的用途，提供宝贵建议，以下为CtGPT产生的文字：
-生成创意文字：人工智能算法可以训练大量文字，如书籍和诗歌，并可以生成原创的故事或诗歌。
-翻译语言：人工智能算法可以训练翻译一种语言到另一种语言，让不同语言的人更容易沟通。
-摘要文字：人工智能算法可以用来自动摘要长文件，让人们更容易快速理解主要思想。
-写个性化的电子邮件：人工智能算法可以训练生成个性化的电子邮件，根据人们的兴趣和喜好。
-生成新闻文章：人工智能算法可以训练生成特定主题的新闻文章，让新闻组织能够快速制作各种主题的内容。
其实，CtGPT能派上用场的地方远远不止如此。 它能够针对用户提出的决策提供具体建议，例如周末旅游该去哪、明天中午应该出门买午餐还是叫外卖等。 另外，它也会讲笑话、说故事，或是帮助创作者完成对特定要求的描述。
学生到底应不应该使用CtGPT？
打开网易新闻 查看精彩图片
CtGPT不只能增加工作者的生产力，在学生的学习之路上，也能发挥影响力，只不过这样的影响有好有坏。 对老师来说，学生很有可能拿CtGPT作弊，例如请CtGPT代写作业，或是在远距上课时以CtGPT代打上场考试，因此包含美国、法国、印度等国家，都有大专院校、初高中、小学明文禁止CtGPT的使用。
不过，一味禁止真的是好事吗？ 我们是否应该想办法跟它共存，甚至是找到驾驭新工具的办法？ 对此，有教授认为，并不是所有人都会写程序，也没有必要如此，但透过学习类似CtGPT相关的AI服务，对生产力很有帮助，善用这些工具，「先一步的人反而可以抢到红利。」
因此，也有美国大学的教授反其道而行，在课纲中明确纳入CtGPT，要学生必须在作业或者课堂讨论中使用人工智能服务，因为这是「新兴技能」，教授们认为，拥抱新科技将让学生在劳动市场中脱颖而出，因此不该禁止使用。
不过，如果老师真的想抓学生用AI代笔，现在OpnAI也为此对症下药了。 根据官方博客，该团队已研发出可辨识是否为AI写成文件的AI纠察队「AI Text Classifier」，目前仅限英文内容，且需要1000字以上才能辨别。
CtGPT有何隐忧？
打开网易新闻 查看精彩图片
CtGPT除了带了学生作弊的疑虑，它也有被用来生产大量虚假讯息的可能性，因为CtGPT产出的文字可读性和逻辑都达到一定标准，若是利用其编造似是而非的内容再到处传散，很有可能造成社会动荡。 为了因应CtGPT的潜在恶意应用，OpAI的客座研究员表示，已经在着手研发将水印加到CtGPT产出文字的方法。
除了担心老师们以后再也无法分辨作业是谁的产出之外，已经出现了人工智能技术垄断的相关讨论。 无论是 Google 的 BERT，或者是 OpAI 的 GPT，不仅顶尖科学家要投入心血，企业更要挹注大笔资源，才能打造出厉害的模型。
然而，这是个富者愈富、贫者愈贫的世界。 随着大企业开发出一个又一个新的模型，能够像是这次CtGPT一样，从人们的踊跃试用中得到更多回馈，进而改进其模型，而机器学习领域又是一个残酷的世界，只有表现好的模型才有话语权-这又回头仰赖企业的资源，因此直到今日，能够开发出此类巨型语言模型的企业屈指可数。
就像科技作家「算法决定世界」的预言一样，人工智能也把持在少数企业手中。 这会为我们的生活带来什么样的影响？ 是否会出现科幻小说当中的常见情节，日后人类的生活会被少数科技菁英与机器所主宰？ 我们必须关注人工智能发展中的垄断问题。
CtGPT问世那些职业的人会受到威胁？
打开网易新闻 查看精彩图片
CtGPT支援多种语言，发布后便在社群上引起风潮，使用的直觉度与回答的精准度也比许多文字生成工具来的更好。不断精进生成内容的能力的CtGPT，也不免让人担心未来文字工作者、编写程式的工程师，会不会遭到取代？虽然目前CtGPT呈现出来的文字能力与程式编码能力仍与真人实作的落差很大，但随着CtGPT资讯越来越成熟，部分的工作者和搜寻引擎巨头Google都有可能受到颠覆性的影响。
CtGPT会毁灭人类吗？
打开网易新闻 查看精彩图片
日前一名外国工程师扎克·德纳姆曾诱导CtGPT写下“毁灭人类计划书”，内容详细到包括入侵各国电脑系统、破坏通讯、破坏交通系统、掌控武器等步骤。 高度相似于真人、流畅的语法，还有详细的计划内容。 不过值得庆幸的是，目前CtGPT的计划仍只存在对话之中。
CtGPT的限制有哪些？
CtGPT的诞生是否能帮忙学生写论文，帮上班族写报告？由于AI的文字生成技术必续透过搜集网上资料来学习，进而编写出合宜的内容，因此在抓取时若抓到错误的讯息，反应出的答案自然也会受到影响。再者，当问的问题不够清楚时，CtGPT也很拿回答正确。
2、oppose训练模型
人体姿态估计是计算机视觉中一个很基础的低女发广错问题。从名字的角度来看，可以理解为对“人体”的姿态（关键点，比如头，左手，右脚等）的位置估计。
人体姿态估计可以分为两种思路，
（1）“top-down”，它指先检测人体区域，再检测区域内的人体关键点。
已来自有"bottom-up"方法缺点：（1）未利用全局上下文先验信息，也即图片中其他人的身体关键点信息；（2）将关键点对应到不同的人物个体，算法复杂度太高。
文章改进点：提出“Part Affinity Field科s (PAFs)”，每个座该磁侵书包像素是2D的向量，用于表征位置和方向信息。基于检测出的关节点和关节联通区域，使用greedy inference算法，可以将这些关节点快速对应到不同人物个体。
损失函数是保证网络能收敛的最重要的关键点，因云律划合此作者对两分支的损失函数均采用L2 los你可变s。训练时，每个阶段都会产生loss，避免梯度消失；预测时只使用最后一层的输出。公式表示如下：
其中， 表示bra象家项王nch1 的label图，也称为heatmap; 是branch2 的label图 ，也称为vectormap。另外，考虑到有些训练数据更食集只标注了图片中部分人物的关节点，因此对损失函数采用了空域加权苏操作，W表示二值化mask矩阵，当位置p的标签缺失时其值为0，否则值为1。显然，对于未被标记的人物关模混节点 ，而被标记的人物京光散翻环信还著五八关节点和非关节点 ,所以未被标记的人物关节点动月不会影响模型的学习过程，整个CNN网络架构的优化目标函数如顶量又特济游划区下，
实际上就是使用2D高斯分布建模，求出一张图像上身体j部位的heatmap，记第k个人的第j个关节的h迫换绝向各五供圆争eatmap为 ， 表示位置信息，则有：
表示了使用part affinity fiel乎扩春ds（PAF）建模骨骼区域，对于骨骼区域内的每一个像素，使用2D向量同时表征位置和方向信息，这里的方向指代当前骨骼对应的查质书关节点对的连接方向，对应vectormap。以下图的骨骼区域为例
经过上述过程，我们已经得到各个关节点的坐标图--heatmap，与关节对连接的vectormap，现在的问题就是如何合理地在推理阶段将各个关节连接成一段骨骼，并将它们组装成一个人？
关节拼接 ：对于任意两个关节点位置 和 ，金示百路通过计算PAFs的线性积分来表征骨骼点对的相关性，也即表征了骨骼点对的置信度，公式表示如下， 为了快速计算积分，一般采用均匀采样的方式近似这两个关节点间的相似度， 多人检测 ：由于图片中人数不确定，同时伴随遮挡、变形等问题，因此只使用上述计算关节对相似度，只能保证局部最优，因此作者利用greedy relaxation的思想生成全局较优的搭配。具体操作如下：
（1）已知不同关节点的heatmap，也就是不同人的某个关节点的点集；
（2）现在要将不同的点集进行唯一匹配，如：一群表示手肘的点集和手腕的点集，两点集中的点必须存在唯一匹配；
（3） 关节点之间的相关性PAF已知，将关键点作为图的顶点，将关键点之间的相关性PAF看为图的边权，则将多人检测问题转化为二分图匹配问题，并用匈牙利算法求得相连关键点最优匹配。
由上图可知，COCO数据集总共有18个关键点，17个肢体骨架，但heatmap多了一个背景图，vectormap多了耳朵和肩膀的肢体，为什末要虚构这麽一个肢体呢，因为有时候人体是背对相机的，眼睛这个关键点是不可见的，为了更好的预测耳朵，引入这两个个肢体（也就是关节对：2-16和5-17）。所以总共有19个肢体，应为vectormap为矢量，预测时分为x,y两个分量，所以有19*2=38
完全参考 https://blog.***.net/m0_37477175/article/details/81236115 ，结合2.4节中vectormap( )的计算公式与绿色虚线框内的区域以点集数学公式理解。
关键是叉乘的几何意义是两个向量所组成的平行四边形的面积，所以 就表示与向量 平行距离为 的区域，也就是骨骼宽度。
后来论文作者对网络结构进行了改进，使得效果更好，速度更快，参考文献【11】。
【1】 Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
【2】 人体姿态估计的过去、现在和未来
【3】 论文解读-Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
【4】 Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields【菜鸟读者】
【5】 知乎：oppose笔记
【6】 oppose论文总结：Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
【7】 详细介绍匈牙利算法步骤
【8】 Github 项目 - OpPose 关键点输出格式
【9】 oppose的细节处理
【10】 tf-oppose人体姿态估计标签生成--heatmap--vectormap
【11】 OpPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
3、opcv训练模型
环境搭建opcv android版本有三种方式：
1.通过opcvmanager的方式，该方法主要的缺点是在安装自身应用的同时，需要下载opcvmanager，体验不是太好。优点是不需要编写c、c++代码，相对简单；
[java] view plain copy
@override
public void onresume(){
super.onresume();
opcvloader.initasync(opcvloader.opcv_version_2_4_8, this, mloadercallback);
}
使用 Mat 中对矩阵元素的地址定位的知识 （参考博文：OpCV中对Mat里面depth,dims,channels,step,data,elemSize和数据地址计算的理解）
Code 1 :
int main()
{
//新建一个uchar类型的单通道矩阵（grayscale image 灰度图）
Mat m(400, 400, CV_8U, Scalar(0));
for (int col = 0; col < 400; col++)
{
for (int row = 195; row < 205; row++)
{
cout << (int)(*(m.data + m.step[0] * row + m.step[1] * col)) << " ==> ";
//获取第[row,col]个像素点的地址并用 * 符号解析
*(m.data + m.step[0] * row + m.step[1] * col) = 255;
cout << (int)(*(m.data + m.step[0] * row + m.step[1] * col)) << endl;
}
}
imshow("canvas", m);
cvWaitKey();
return 0;
}
Output 1 :
0 ==> 255
0 ==> 255
0 ==> 255
0 ==> 255
0 ==> 255
0 ==> 255
...
Code1只是演示了单通道的情况，对于多通道的例子，请看 Code2 然后再看 Code3。
Fn 2 :
使用 Mat::at 函数
原型 templateinline _Tp& Mat::at(…) //其中参数有多个，也就是说 at 函数有多个重载 返回值为 Mat 类型, Mat 有个索引的重载，也就是 [] 符号的重载，用这个重载可以定位多通道数据，具体示例可以看下面代码 下面的代码把红色通道值大于128的颜色的置为白色，左边为原图，右边为处理过后的图。