研究通过 LangChain 为产品导入本地模型与配套 Harness

// 1. 检查浏览器是否支持，并确认模型已经下载完成
const capabilities = await ai.languageModel.capabilities();
if (capabilities.available === 'readily') {

  // 2. 创建 session，并在创建时传入 system prompt
  const session = await ai.languageModel.create({
    systemPrompt: "你是一位乐于助人且友善的助手。"
  });

  // 3. 模拟对话历史（Prompt API 会在同一个 session 中自动维持 context）
  // 第一轮对话（User）
  const response1 = await session.prompt("你能写一首关于编程的短诗吗？");
  console.log("助手:", response1);
  // 输出: 代码是机器的诗篇，逻辑在屏幕与缝隙间编织。

  // 4. 如果你想在创建 session 时就直接注入「过去的对话历史」（历史记录 payload）
  // 可以使用 initialPrompts 参数：
  const sessionWithHistory = await ai.languageModel.create({
    systemPrompt: "你是一位乐于助人且友善的助手。",
    initialPrompts: [
      { role: 'user', content: '你能写一首关于编程的短诗吗？' },
      { role: 'assistant', content: '代码是机器的诗篇，逻辑在屏幕与缝隙间编织。' }
    ]
  });

  // 之后继续对话，它就会记得这段历史
  const response2 = await sessionWithHistory.prompt("你能解释第一行吗？");
  console.log("助手:", response2);

  // 记得不用时要销毁 session 释放内存
  session.destroy();
  sessionWithHistory.destroy();
}

<|im_start|>system
你是一位乐于助人且友善的助手。<|im_end|>
<|im_start|>user
你能写一首关于编程的短诗吗？<|im_end|>
<|im_start|>assistant
代码是机器的诗篇，
逻辑在屏幕与缝隙间编织。<|im_end|>

收到问题 → 判断是否需要改写 → 检索文档 → 生成答案 → 检查结果是否符合预期 → 必要时重新执行某个步骤

// 1. 定义状态结构
const MyState = Annotation.Root({
  ...MessagesAnnotation.spec,
  rephrasedQuestion: Annotation<string>,
  sourceDocuments: Annotation<Document[]>,
});
// 2. 定义节点
const nodeA = async (state) => {
  return { rephrasedQuestion: "改写后的问题" };
};
// 3. 组装流程
const graph = new StateGraph(MyState)
  .addNode("nodeA", nodeA)
  .addNode("nodeB", nodeB)
  .addConditionalEdges("__start__", (state) => {
    return state.messages.length > 1 ? "nodeA" : "nodeB";
  })
  .addEdge("nodeA", "nodeB")
  .compile();

import { WebPDFLoader } from "@langchain/community/document_loaders/web/pdf";
import { RecursiveCharacterTextSplitter } from "langchain/text_splitter";
import { Voy as VoyClient } from "voy-search";
import { HuggingFaceTransformersEmbeddings } from "@langchain/community/embeddings/hf_transformers";

const embeddings = new HuggingFaceTransformersEmbeddings({
  modelName: "Xenova/all-MiniLM-L6-v2",
  // 可以使用 "nomic-ai/nomic-embed-text-v1" 获得更强但更慢的 embeddings
  // modelName: "nomic-ai/nomic-embed-text-v1",
});

const voyClient = new VoyClient();
const vectorstore = new VoyVectorStore(voyClient, embeddings);

const embedPDF = async (pdfBlob: Blob) => {
  // 1. 用 LangChain 的 WebPDFLoader 解析 PDF
  const pdfLoader = new WebPDFLoader(pdfBlob, { parsedItemSeparator: " " });
  const docs = await pdfLoader.load();

  // 2. 用 RecursiveCharacterTextSplitter 切成小块
  const splitter = new RecursiveCharacterTextSplitter({
    chunkSize: 500,
    chunkOverlap: 50,
  });
  const splitDocs = await splitter.splitDocuments(docs);

  // 3. 通过 Transformers.js Embedding 转换后存入 Voy 向量数据库
  await vectorstore.addDocuments(splitDocs);
};

const graph = new StateGraph(RAGStateAnnotation)
  .addNode("rephraseQuestion", rephraseQuestion)
  .addNode("retrieveSourceDocuments", retrieveSourceDocuments)
  .addNode("generateResponse", generateResponse)
  .addConditionalEdges("__start__", async (state) => {
    // 首轮对话直接检索；多轮对话先改写问题再检索
    if (state.messages.length > 1) {
      return "rephraseQuestion";
    }
    return "retrieveSourceDocuments";
  })
  .addEdge("rephraseQuestion", "retrieveSourceDocuments")
  .addEdge("retrieveSourceDocuments", "generateResponse")
  .compile();

let model;
if (modelProvider === "webllm") {
  model = new ChatWebLLM(modelConfig);    // 浏览器内 WebGPU 推理
} else if (modelProvider === "chrome_ai") {
  model = new ChromeAI(modelConfig);       // Chrome 内置 Gemini Nano
} else {
  model = new ChatOllama(modelConfig);     // 本地 Ollama 服务器
}