RAGとその実践的な実装：LangChain、Bun、Ollama、Qdrantを使用

1// RAGシステムにおけるデータフローの簡略化された例
2async function processQuery(query: string): Promise<string> {
3  // 1. クエリを埋め込みに変換
4  const queryEmbedding = await embedder.embedQuery(query);
5  
6  // 2. 関連ドキュメントの検索
7  const relevantDocs = await vectorStore.similaritySearch(queryEmbedding);
8  
9  // 3. コンテキスト付きプロンプトの構築
10  const prompt = buildPromptWithContext(query, relevantDocs);
11  
12  // 4. LLMで応答を生成
13  const response = await llm.generate(prompt);
14  
15  return response;
16}

1// src/config.ts
2export const CONFIG = {
3  // Ollama設定
4  OLLAMA_BASE_URL: 'http://localhost:11434',
5  OLLAMA_MODEL_NAME: 'llama3',
6  
7  // Qdrant設定
8  QDRANT_URL: 'http://localhost:6333',
9  QDRANT_COLLECTION_NAME: 'code_repository',
10  
11  // インデックス作成設定
12  CHUNK_SIZE: 1000,
13  CHUNK_OVERLAP: 200,
14  
15  // インデックスを作成するコードリポジトリへのパス
16  REPOSITORY_PATH: './repository',
17};

1// src/indexer.ts
2import { DirectoryLoader } from 'langchain/document_loaders/fs/directory';
3import { RecursiveCharacterTextSplitter } from 'langchain/text_splitter';
4import { OllamaEmbeddings } from '@langchain/community/embeddings/ollama';
5import { QdrantClient } from 'qdrant-js';
6import { CONFIG } from './config';
7
8export async function indexRepository() {
9  // 1. リポジトリファイルの読み込み
10  const loader = new DirectoryLoader(
11    CONFIG.REPOSITORY_PATH,
12    {
13      '.ts': (path) => new TextLoader(path),
14      '.js': (path) => new TextLoader(path),
15      '.tsx': (path) => new TextLoader(path),
16      '.jsx': (path) => new TextLoader(path),
17      '.md': (path) => new TextLoader(path),
18    }
19  );
20  
21  const docs = await loader.load();
22  console.log(`${docs.length}個のファイルの読み込みが完了しました`);
23  
24  // 2. チャンクへの分割
25  const textSplitter = new RecursiveCharacterTextSplitter({
26    chunkSize: CONFIG.CHUNK_SIZE,
27    chunkOverlap: CONFIG.CHUNK_OVERLAP,
28  });
29  
30  const chunks = await textSplitter.splitDocuments(docs);
31  console.log(`${chunks.length}個のチャンクの作成が完了しました`);
32  
33  // 3. 埋め込みの生成
34  const embeddings = new OllamaEmbeddings({
35    baseUrl: CONFIG.OLLAMA_BASE_URL,
36    model: CONFIG.OLLAMA_MODEL_NAME,
37  });
38  
39  // 4. Qdrantへの保存
40  const qdrant = new QdrantClient({ url: CONFIG.QDRANT_URL });
41  
42  // コレクションが存在しない場合は作成
43  try {
44    await qdrant.createCollection(CONFIG.QDRANT_COLLECTION_NAME, {
45      vectors: {
46        size: 1536, // 埋め込みベクトルのサイズ
47        distance: 'Cosine',
48      },
49    });
50  } catch (e) {
51    console.log('コレクションは既に存在するか、エラーが発生しました:', e.message);
52  }
53  
54  // ドキュメントとその埋め込みの挿入
55  for (let i = 0; i < chunks.length; i += 100) {
56    const batch = chunks.slice(i, i + 100);
57    const batchEmbeddings = await embeddings.embedDocuments(
58      batch.map(chunk => chunk.pageContent)
59    );
60    
61    await qdrant.upsert(CONFIG.QDRANT_COLLECTION_NAME, {
62      points: batchEmbeddings.map((vector, idx) => ({
63        id: `${i + idx}`,
64        vector,
65        payload: {
66          text: batch[idx].pageContent,
67          metadata: batch[idx].metadata,
68        },
69      })),
70    });
71    
72    console.log(`バッチ ${i}-${i + batch.length} の処理が完了しました`);
73  }
74  
75  console.log('インデックス作成が正常に完了しました！');
76}

1// src/rag.ts
2import { OllamaEmbeddings } from '@langchain/community/embeddings/ollama';
3import { QdrantClient } from 'qdrant-js';
4import { Ollama } from '@langchain/community/llms/ollama';
5import { CONFIG } from './config';
6
7export async function generateResponse(query: string): Promise<string> {
8  // 1. コンポーネントの初期化
9  const embeddings = new OllamaEmbeddings({
10    baseUrl: CONFIG.OLLAMA_BASE_URL,
11    model: CONFIG.OLLAMA_MODEL_NAME,
12  });
13  
14  const qdrant = new QdrantClient({ url: CONFIG.QDRANT_URL });
15  
16  const llm = new Ollama({
17    baseUrl: CONFIG.OLLAMA_BASE_URL,
18    model: CONFIG.OLLAMA_MODEL_NAME,
19  });
20  
21  // 2. クエリ埋め込みの生成
22  const queryEmbedding = await embeddings.embedQuery(query);
23  
24  // 3. 関連ドキュメントの検索
25  const searchResults = await qdrant.search(CONFIG.QDRANT_COLLECTION_NAME, {
26    vector: queryEmbedding,
27    limit: 5,
28  });
29  
30  const relevantDocs = searchResults.map(result => result.payload.text).join('\n\n');
31  
32  // 4. コンテキスト付きプロンプトの構築
33  const prompt = `
34  あなたはプロジェクトのソースコードを理解するのを助ける専門のプログラミングアシスタントです。
35  ユーザーの質問に答えるために、以下のコンテキストを使用してください。
36  コンテキストで情報が見つからない場合は、明確にそう述べてください。
37  
38  CONTEXT:
39  ${relevantDocs}
40  
41  QUESTION: ${query}
42  
43  ANSWER:
44  `;
45  
46  // 5. 応答の生成
47  const response = await llm.call(prompt);
48  
49  return response;
50}

1// src/index.ts
2import { indexRepository } from './indexer';
3import { generateResponse } from './rag';
4
5async function main() {
6  // インデックス作成またはクエリ用の引数
7  const args = process.argv.slice(2);
8  
9  if (args[0] === 'index') {
10    console.log('インデックス作成を開始しています...');
11    await indexRepository();
12  } else if (args[0] === 'query') {
13    const query = args.slice(1).join(' ');
14    if (!query) {
15      console.log('使用法: bun run src/index.ts query "コードに関するあなたの質問"');
16      process.exit(1);
17    }
18    
19    console.log(`質問: ${query}`);
20    console.log('応答を生成しています...');
21    const response = await generateResponse(query);
22    console.log('\n回答:');
23    console.log(response);
24  } else {
25    console.log('使用法: bun run src/index.ts [index|query "あなたの質問"]');
26  }
27}
28
29main().catch(console.error);

1// より高度なプロンプトの例
2const prompt = `
3# ROLE
4あなたはソースコード分析に特化した専門のプログラミングアシスタントです。
5
6# CONTEXT
7${relevantDocs}
8
9# INSTRUCTIONS
10- 提供されたコンテキストのみに基づいてユーザーの質問に答えてください
11- コンテキストに必要な情報が含まれていない場合は、明確に示してください
12- 回答に関連するコードの抜粋を引用してください
13- 教育的な方法でコードを説明してください
14- 何か改善点があれば提案してください
15
16# QUESTION
17${query}
18`;