文章目录
- 简介
- 示例
- 1.添加依赖
- 2.设置OpenAI API 密钥
- 3.创建模型的实例并开始交互
- 功能
- 实践
- 爬取网页并embedding
- HuggingFace在线API集成
- 加载离线model
简介
Github:
https://github.com/langchain4j
https://github.com/langchain4j/langchain4j
https://github.com/langchain4j/langchain4j-embeddings
https://github.com/langchain4j/langchain4j-examples
Java版langchain, 利用LLMs的力量增强你的java应用程序。
该项目的目标是简化 AI/LLM 功能到 Java 应用程序的集成。
可以通过以下方式实现：
- 一个简单且连贯的抽象层，旨在确保您的代码不依赖于具体实现，例如 LLM providers, embedding store providers,等。这允许轻松替换组件。
- 上述抽象的多种实现，为您提供了多种 LLMs 和嵌入存储可供选择。
- LLM 之上的一系列热门功能，例如：
- 获取您自己的数据 own data（文档、代码库等）的能力，允许LLM 根据您的数据采取行动和做出响应。
- 用于将任务（动态定义）委托给LLM的自主代理 agents ，LLM将努力完成这些任务。
- 提示模板 Prompt templates 可帮助您获得最高质量的 LLM 回复。
- 记忆Memory 为LLM提供您当前和过去对话的背景信息。
- 用于接收来自 LLM 的响应的结构化输出，具有所需的结构（如 Java POJO）。
- “AI 服务”，用于在简单的 API 背后声明性地定义复杂的 AI 行为。
- 减少常见用例中对大量样板代码的需求的链 Chains 。
- 自动调节以确保LLM的所有输入和输出都不会有害。
这个更像是一个大的框架，给你从头到尾梳理了个标准的流程，我认为是一个很大的解决方案。
Spring Boot 3 的支持
兼容性：Java8 或更高, Spring Boot: 2 or 3
示例
1.添加依赖
<dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-open-ai</artifactId><version>0.24.0</version></dependency>2.设置OpenAI API 密钥
String apiKey = System.getenv("OPENAI_API_KEY");可以用自己的秘钥，不过要收费。
OpenAI（付费）或 HuggingFace（免费）
建议使用 OpenAI LLM（
gpt-3.5-turbo和gpt-4），因为它们是迄今为止最有能力且价格合理的。也可以使用免费提供的 API 密钥
demo来测试 OpenAI。即
String apiKey = "demo"
3.创建模型的实例并开始交互
OpenAiChatModel model = OpenAiChatModel.withApiKey(apiKey);String answer = model.generate("Hello world!");System.out.println(answer); // Hello! How can I assist you today?功能
AI服务：
- 简单模式
- 带有记忆功能
- 带有工具支持
- 带有流式处理
- 带有检索器
- 带有自动审核
- 带有结构化输出、结构化提示等功能
与OpenAI和Azure OpenAI集成的功能：
- 聊天（同步 + 流式 + 函数）
- 完成（同步 + 流式）
- 嵌入
与Google Vertex AI集成的功能：
- 聊天
- 完成
- 嵌入
与HuggingFace Inference API集成的功能：
- 聊天
- 完成
- 嵌入
与LocalAI集成的功能：
- 聊天（同步 + 流式 + 函数）
- 完成（同步 + 流式）
- 嵌入
与DashScope集成的功能：
- 聊天（同步 + 流式）
- 完成（同步 + 流式）
- 嵌入
聊天记忆
持久性聊天记忆
与文档进行聊天
与Astra DB和Cassandra集成
与Chroma集成
与Elasticsearch集成
与Milvus集成
与Pinecone集成
与Redis集成
与Vespa集成
与Weaviate集成
内存嵌入存储（可持久化）
结构化输出
提示模板
结构化提示模板
LLM响应的流式传输
从文件系统和通过URL加载txt、html、pdf、doc、xls和ppt文档
将文档拆分为段落
按段落、行、句子、单词等：
递归
带有重叠
标记计数估算（以便您可以预测您将支付多少）
实践
爬取网页并embedding
// 从url拉取html// loaders 有from WebUrl,s3,fileDocument document = UrlDocumentLoader.load("https://www.baidu.com", DocumentType.HTML);// 通过 css选择器 抽取内容和标题Map<String, String> metadataCssSelectors = new HashMap<>();metadataCssSelectors.put("title", ".title");HtmlTextExtractor transformer = new HtmlTextExtractor("#content", metadataCssSelectors, false);Document transformedDocument = transformer.transform(document);// String title = transformedDocument.metadata("title");log.debug("title: {}", title);// splitter 文档拆分为段// 按段，特殊字符，句子，定长DocumentSplitter splitter = new DocumentBySentenceSplitter(500, 0);List<TextSegment> segments = splitter.split(transformedDocument); // embeddingfor (TextSegment segment : segments) { String text = segment.text();// embedding Float[] xxx = textEmbeddingService.embed(text, ModelTypeEnum.BERT_EN_UNCASED_L4);HuggingFace在线API集成
为什么用HuggingFace的在线API，就是因为免费，哈哈哈！！！
对于嵌入（embedding），我们建议使用HuggingFace MTEB 排行榜中的模型之一。您必须找到最适合您的特定用例的一种。
以下是获取 HuggingFace API 密钥的方法：
- 在https://huggingface.co上创建一个帐户
- 前往https://huggingface.co/settings/tokens 生成新的访问令牌
引入依赖
<dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-hugging-face</artifactId><version>0.24.0</version></dependency>推理示例
EmbeddingModel embeddingModel = HuggingFaceEmbeddingModel.builder().accessToken(System.getenv("HF_API_KEY")).modelId("sentence-transformers/all-MiniLM-L6-v2").waitForModel(true).timeout(ofSeconds(60)).build();Response<Embedding> response = embeddingModel.embed("Hello, how are you?");System.out.println(response);加载离线model
针对加载离线model这块，底层依赖onnxruntime + djl.api
<dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-embeddings</artifactId><version>0.24.0</version></dependency>证据在langchain4j-embeddings依赖的pom:
<dependency><groupId>com.microsoft.onnxruntime</groupId><artifactId>onnxruntime</artifactId><version>1.16.2</version></dependency><dependency> <groupId>ai.djl</groupId> <artifactId>api</artifactId> <version>0.25.0</version></dependency>示例代码
1.首先自己去huggingface或其他站点下载开源的onnx模型到本地
例如：https://huggingface.co/bert-base-uncased
2.加载本地onnx模型，并进行推测。
String text = "Let's demonstrate that embedding can be done within a Java process and entirely offline.";// path"C:/Users/laker/Downloads/model.onnx"EmbeddingModel embeddingModel = new OnnxEmbeddingModel("/home/me/model.onnx");Embedding inProcessEmbedding = embeddingModel.embed(text).content();System.out.println(inProcessEmbedding);官方也提供了几个带onnx文件的jar，里面内置了onnx文件，你就不需要再下载了。
- https://github.com/langchain4j/langchain4j-embeddings
根据需要的模型引入依赖。
<dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-embeddings-bge-small-zh</artifactId><version>0.24.0</version></dependency>推理的示例代码
// EmbeddingModel embeddingModel = new AllMiniLmL6V2EmbeddingModel();EmbeddingModel embeddingModel = new BgeSmallZhEmbeddingModel();Embedding inProcessEmbedding = embeddingModel.embed(text).content();System.out.println(inProcessEmbedding);