文章目录
- 1. 写在前面
- 2. 效率工具
- 3. 聊天机器人
- 4. 应用开发工具
- 5. Prompt工具与社区
- 6. 通用基础大模型
- 7. 训练框架
- 8. 开源数据集
- 9. 推理与部署平台及工具
【作者主页】：吴秋霖
【作者介绍】：Python领域优质创作者、阿里云博客专家、华为云享专家。长期致力于Python与爬虫领域研究与开发工作！
【作者推荐】：对JS逆向感兴趣的朋友可以关注《爬虫JS逆向实战》，对分布式爬虫平台感兴趣的朋友可以关注《分布式爬虫平台搭建与开发实战》
还有未来会持续更新的验证码突防、APP逆向、Python领域等一系列文章
1. 写在前面
在数字化时代，人工智能（AI）正成为推动创新和变革的引擎。从高效的工具和聊天机器人到强大的训练框架和开源数据集，AI 大模型产品正在改变我们看待和使用技术的方式
本文作者将汇总AI大模型领域最前沿的效率工具、应用开发工具、Prompt 技术、训练框架、开源数据集、数据服务，以及推理与部署平台，建议大家收藏起来～总会有用的
2. 效率工具
devv.ai是一款面向开发者的下一代AI搜索引擎
CodeFuse是一款为国内开发者提供智能研发服务的产品，该产品是基于蚂蚁集团自研的基础大模型进行微调的代码大模型。具备代码补全、添加注释、解释代码、生成单测，以及代码优化功能，以帮助开发者更快、更轻松地编写代码
简单AI提供全面的AI社区服务，包括AI作图、文生图prompt社区、AI文案、AI头像、AI素材、AI设计等。 以“快人一步，轻松玩转AI” 为理念，致力于让每一个用户都能便捷地使用和理解人工智能
看看这些生成的图，惟妙惟肖的
AutoDraw是由Google推出的一个在线绘图工具，它利用机器学习和人工智能技术来帮助用户绘制图形。主要特点是识别用户所绘制的简单图形，并提供相关的预定义图形供用户选择，从而快速转换手绘图为更精确的图形。这个工具通过智能识别和建议功能，使得用户无需具备专业绘图技能，就能轻松创建出美观的图形
在我们绘制图形时，系统会实时分析用户的绘图意图，并在画布上显示相应的建议图标。用户可以从建议图标中选择最符合他们意图的图形，从而快速完成绘图过程，如下：
Fliki是一个文本转视频工具，通过使用AI语音将创意转化为引人注目的内容。该工具可能允许用户输入文本，然后使用人工智能生成声音并将其合成到视频中，从而帮助用户快速而轻松地创建视觉和听觉上的内容
Midjourney是第一个快速生成AI制图并开放予大众申请使用的平台！只需要输入关键字，就能够通过AI算法生成相对应的图片，还可以选择不同艺术家的风格，识别特定镜头或摄影术语，效果炸裂
Notion是一款多功能协作工具，它将笔记、项目管理、文档编辑、知识库等多种功能集成在一个应用程序中！通过AI的方式我们可以快速整理笔记、写文章、条列大纲、制作表格、检查文法等
Amazon CodeWhisperer是亚马逊推出的实时AI编程助手，是一项基于机器学习的服务，它可以分析开发者在集成开发环境（IDE）中的注释和代码，并根据其内容生成多种代码建议
笔灵AI是一款面向专业写作领域的AI写作工具，一键生成工作计划，营销方案等100种真实案例写作内容
妙鸭相机通过AI学习消费者上传的照片来构建人脸模型，然后把人脸模型套用其他模型合成照片（简单来说就是AI获取人的五官后，给五官P上新的发型、妆容、衣服、场景来合成一张新的照片）。所以只要上传完照片，就能产生无数风格的写真
3. 聊天机器人
ChatGPT当属第一！它是OpenAI训练的对话式大规模语言模型，是InstructGPT的兄弟模型，二者同属GPT-3.5系列的主力模型。 模型采用对话格式，可以跟进回答问题、承认错误、挑战不正确的前提并拒绝不正当的请求，且支持中文
Monica是一款一体化 AI 助手，配备最先进的 AI 模型（GPT-4、Claude、Gemini 等），帮助您聊天、搜索、写作、翻译等。它还提供图像、视频和 PDF 处理工具
豆包是你的智能小助手，可以为你答疑解惑，提供灵感，辅助创作，也可以和你畅聊任何你感兴趣的话题
4. 应用开发工具
DevOpsGPT是一款开源人工智能驱动的软件开发自动化解决方案，做为AI驱动的智能软件开发平台，DevOpsGPT将LLM（大语言模型）和DevOps工具相结合，通过利用Chat-GPT等大型语言模型的能力，将自然语言需求转化为可工作的软件。这一创新功能极大地提高了开发效率、缩短了开发周期、降低了沟通成本，从而带来更高质量的软件交付
xTuring提供了对LLMs（如LLaMA、GPT-J、Galactica等）快速、高效、简单的微调服务。通过易用的界面，用户可以根据自己的数据和应用来微调LLMs，方便定制和控制。整个过程可以在个人电脑或私有云中完成，确保数据的隐私和安全性
FlowiseAI是一个开源的用户界面可视化工具，使用Node Typescript/Javascript编写，通过LangchainJS来构建定制的大型语言模型（LLM）流程。该工具以图形化方式简化了AI模型的创建和管理，使用户能够更方便地定制和使用人工智能技术
Dify是一个易用的LLMOps平台，基于不同的大型语言模型能力，让更多人可以简易地创建可持续运营的原生AI应用。Dify提供多种类型应用的可视化编排，应用可开箱即用，也能以“后端即服务”的API提供服务
LlamaIndex是一个简单、灵活的数据框架，用于将自定义数据源连接到大型语言模型
LangChain是一个基于语言模型开发应用程序的框架
5. Prompt工具与社区
FlowGPT是一个专注于分享ChatGPT聊天指令问答模板的在线社区网站。在这里，用户可以浏览大量由FlowGPT社区上传的ChatGPT提示词，以及查找当前最流行且有用的提示词
Prompt Engine一个帮助开发者为大型语言模型制作提示的库
6. 通用基础大模型
Gemini是Google开发的跨模态的、真正通用的AI模型，可以无缝地处理文本、视觉、音频、图像和视频等多种输入和输出
Yi是李开复博士创办的AI2.0公司零一万物开源发布的首款预训练大模型
MistralAI团队发布了Mistral 7B，这是迄今为止最强大的小型语言模型。Mistral 7B是一个拥有73亿参数的模型，其在所有基准测试中均超过了Llama 2 13B，在许多基准测试中超过了Llama 1 34B，接近CodeLlama 7B在代码任务的表现，同时还擅长英语任务。该模型采用了分组查询注意力（GQA）和滑动窗口注意力（SWA）以实现更快的推理和处理更长的序列。Mistral 7B已在Apache 2.0许可下发布，可以无限制使用，并且易于微调以适应任何任务
Alpaca斯坦福大学的项目旨在构建并分享一种遵循指令的LLaMA模型。项目的代码库包含：用于微调模型的52K数据，生成数据的代码，微调模型的代码，以及从发布的权重差异中恢复Alpaca-7B权重的代码
GPT-4是由 OpenAI 开发的多模态大型语言模型，是 GPT 基础模型系列的第四个版本。它于2023年3月14日首次发布，并通过付费聊天机器人产品 ChatGPT Plus 和 OpenAI 的 API 向公众提供服务。作为一个基于 Transformer 的模型，GPT-4 采用了一种范式，即使用公共数据和“从第三方供应商许可的数据”进行预训练，以预测下一个标记。在此步骤之后，模型通过人类和人工智能的强化学习反馈进行了微调，以实现与人类对齐和符合政策的目标
Llama2是Meta（Facebook的母公司）的AI团队开发的一系列预训练和微调的大型语言模型（LLMs），参数规模从70亿到700亿不等。这些模型被设计用于在人工智能领域进行各种任务，如自然语言理解、文本生成和机器翻译等
百川大模型百川大模型目前包括Baichuan-7B/13B，Baichuan2-7B/13B，四款开源可免费商用大模型及Baichuan-53B、Baichuan2-53B两款闭源大模型。其中Baichuan-7B/13B两款大模型在多个权威评测榜单均名列前茅，累积下载量突破六百万
书生·浦语 InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。通过单一的代码库，它支持在拥有数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调，同时实现了卓越的性能优化。在1024个GPU 上训练时，InternLM可以实现近90%的加速效率。 基于InternLM训练框架，我们已经发布了两个开源的预训练模型：InternLM-7B和 InternLM-20B
Qwen通义千问是阿里推出的超大规模语言模型
7. 训练框架
Ray是一种高性能的分布式执行框架，主要针对大规模的机器学习和强化学习应用。它通过在全局控制存储中抽象系统的控制状态，并保持所有其他组件无状态，实现了可扩展性和容错性。Ray利用共享内存的分布式对象存储有效处理大数据，并采用自下而上的分层调度架构实现低延迟和高吞吐量的调度。它使用基于动态任务图和参与者的轻量级API，以灵活的方式表达各种应用
MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。 MindSpore提供了友好的设计和高效的执行，旨在提升数据科学家和算法工程师的开发体验，并为Ascend AI处理器提供原生支持，以及软硬件协同优化
Colossal-AI为您提供了一系列并行组件。我们的目标是让您的分布式 AI 模型像构建普通的单 GPU 模型一样简单。我们提供的友好工具可以让您在几行代码内快速开始分布式训练和推理
OneFlow是一个旨在用户友好、可扩展和高效的深度学习框架。使用OneFlow，可以轻松地通过类似PyTorch的API编写模型，利用全局张量将模型扩展到n维并行执行，并通过图编译器加速/部署模型。OneFlow提供了简洁而强大的工具，使开发者能够更轻松地构建和训练深度学习模型，并且具备灵活性和可扩展性
Jittor是一个基于即时编译和元算子的高性能深度学习框架，整个框架在即时编译的同时，还集成了强大的Op编译器和调优器，为您的模型生成定制化的高性能代码。Jittor还包含了丰富的高性能模型库，涵盖范围包括：图像识别，检测，分割，生成，可微渲染，几何学习，强化学习等等
Megatron是NVIDIA应用深度学习研究团队开发的大型强大的Transformer模型。该项目致力于大规模训练Transformer语言模型的研究。我们开发了高效的模型并行（张量、序列和管道）以及使用混合精度的多节点预训练方法，适用于GPT、BERT和T5等基于Transformer的模型
飞桨是一个开源的深度学习框架，由百度推出。它包含了各种深度学习模型和工具，可以帮助开发者更快速、高效地构建和训练深度学习模型。Paddle 支持多种深度学习模型，包括卷积神经网络 (CNN)、循环神经网络 (RNN)、生成对抗网络 (GAN)、自动编码器 (AE) 等。它还提供了多种预训练模型，可以直接使用，满足各种不同应用场景的需求
JAX是Google开发的用于变换数值函数的Python机器学习框架。它结合了修改版本的Autograd（自动通过函数的微分获得其梯度函数），和TensorFlow的XLA（加速线性代数）。它被设计为尽可能的遵从NumPy的结构和工作流程，并协同工作于各种现存的框架如TensorFlow和PyTorch
ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch、MXNet）可以采用相同格式存储模型数据并交互
TensorFlow是一个端到端开源机器学习平台。它拥有一个全面而灵活的生态系统，其中包含各种工具、库和社区资源，可助力研究人员推动先进机器学习技术的发展
PyTorch是一个开源的Python机器学习库，基于Torch，底层由C++实现，应用于人工智能领域，如计算机视觉和自然语言处理。它主要由Meta Platforms的人工智能研究团队开发
8. 开源数据集
RedPajama-Data-v2是一个开放的数据集，发布了RedPajama-V2版本，包含来自84个CommonCrawl数据集的30万亿个经过过滤和去重处理的标记（原始数据超过100万亿个），涵盖了5种语言：英语、法语、西班牙语、德语和意大利语
LLMDataHub致力于收集LLM高质量训练语料库的项目，提供了一系列专门用于聊天机器人训练的数据集
Hugging Face Datasets提供的开源数据集服务
9. 推理与部署平台及工具
OpenVINO是英特尔开发的一款功能强大的深度学习工具包，可实现跨多个硬件平台的优化神经网络推理。在本文中，我们讨论了 OpenVINO 的特性和优势，以及它如何与领先的计算机视觉平台 Viso Suite 集成，以构建和交付可扩展的应用程序
OpenLLM是一个用于在生产中操作大型语言模型 (LLM) 的开放平台，可以轻松地微调、服务、部署和监控任何LLM大模型
jina使用云原生技术构建多模式人工智能应用程序，Jina 为服务 ML 模型提供了流畅的 Python 体验，从本地部署过渡到 Docker-Compose、Kubernetes 或 Jina AI Cloud 等高级编排框架。Jina 使每个开发人员都可以使用先进的解决方案工程和云原生技术
好了，到这里又到了跟大家说再见的时候了。创作不易，帮忙点个赞再走吧。你的支持是我创作的动力，希望能带给大家更多优质的文章