DanLevy.net

HI

2025 का डेटाबेस नवाचार की लहर

आप AI को धन्यवाद दे सकते हैं।

एक और Vector DB लेख नहीं

यह निर्णय नियम है जो मैं काश पहले उपयोग करता:

यदि आपका डेटा फ़ाइलों से पुनर्निर्मित किया जा सकता है और उपयोगकर्ता ज्यादातर इसे पढ़ते हैं, तो पहले ऑब्जेक्ट-स्टोरेज डेटाबेस आज़माएं। यदि उपयोगकर्ता पूरे दिन इसमें लिख रहे हैं, तो असली डेटाबेस से शुरू करें और S3 को डेटाबेस का नाटक करना बंद करें।

वह उपयोगी रेखा है। “सर्वरलेस भविष्य है” नहीं। “वेक्टर डेटाबेस ने सब कुछ बदल दिया” नहीं। वे वाक्य पहले ही काफी कॉन्फ्रेंस लैनयार्ड पर छप चुके हैं।

AI ने निश्चित रूप से कई खोज समस्याओं के आकार को बदल दिया है। अचानक छोटी टीमों को सेमेंटिक सर्च, हाइब्रिड रैंकिंग, डॉक्यूमेंट चैट, मल्टीमॉडल लुकअप, और ऑब्जेक्ट स्टोरेज में पड़ी फ़ाइलों पर एनालिटिक्स चाहिए। पुराना जवाब था “pgvector के साथ Postgres चलाएं” या “OpenSearch/Elasticsearch चलाएं” या “मैनेज्ड सर्च सेवा खरीदें”। वे अभी भी अच्छे जवाब हैं जब वर्कलोड उन्हें deserving हो।

लेकिन कई वर्कलोड नहीं हैं। वे read-heavy हैं, पुनर्निर्माण योग्य हैं, और सामग्री बदलने और खोज पकड़ने के बीच छोटी देरी को सहन कर सकते हैं। डॉक्यूमेंटेशन। कैटलॉग स्नैपशॉट। स्टैटिक एक्सपोर्ट। आंतरिक ज्ञान आधार। स्थानीय एनालिटिक्स। प्रोटोटाइप RAG सिस्टम। उन सभी के लिए, टूल्स के एक नए वर्ग ने बोर्डिंग आर्किटेक्चर को असामान्य रूप से शक्तिशाली बना दिया है: एक इंडेक्स बनाएं, इसे फ़ाइलों के रूप में स्टोर करें, HTTP पर सर्व करें।

स्नैपशॉट नोट: इकोसिस्टम तेजी से आगे बढ़ रहा है। नीचे दिए गए स्टार काउंट, फीचर लेबल, और प्रदर्शन संख्या सितंबर 2025 का स्नैपशॉट हैं, कोई कालातीत स्कोरबोर्ड नहीं। उन्हें ओरिएंटेशन के रूप में लें, फिर किसी भी प्रोडक्शन माइग्रेशन पर दांव लगाने से पहले वर्तमान डॉक्स जांचें।

दूसरे नाम का डेटाबेस

ये सर्वरलेस और CDN-कैपेबल डेटास्टोर मध्यम-पैमाने के मामलों के लिए उपयोगी हैं, लगभग 1,000 से 1,000,000 रिकॉर्ड या कुछ GB, जहां पारंपरिक डेटाबेस इंफ्रास्ट्रक्चर मूल्य से अधिक समारोह हो सकता है:

सामान्य चाल सरल है: टिकाऊ डेटा को फ़ाइलों या ऑब्जेक्ट स्टोरेज में रखें, फिर इसे ब्राउज़र, एज फ़ंक्शन, वर्कर, या हल्की सेवा से क्वेरी करें। यह जटिलता को समाप्त नहीं करता है। यह जटिलता को बिल्ड पाइपलाइन, इंडेक्स फ्रेशनेस, कैश इन्वैलिडेशन, और क्लाइंट क्षमताओं में स्थानांतरित करता है। जो पढ़ने के प्रभुत्व में एक पूरी तरह से अच्छा व्यापार है।

चेकबॉक्स की लड़ाई

FeaturePagefindOramaChromaLanceDBDuckDB-WASM
Full-Text Search✅ Advanced stemming✅ BM25, 30 languages✅ SQLite FTS✅ Tantivy✅ Full SQL
Vector Search❌✅ Cosine similarity✅ HNSW✅ IVF_PQ, HNSW, GPU⚠️ Extensions
AI/RAG IntegrationsNone✅ Built-in pipeline✅ LangChain, LlamaIndex✅ Advanced reranking⚠️ Manual setup
StorageStatic JSON/WASMMemory + S3 pluginsServer-based*S3-compatible LanceWASM + S3/HTTP
Write SupportBuild-time onlyFull CRUDFull CRUDFull CRUDFull SQL CRUD
PerformanceSub-100ms0.0001ms - 100msSub-100ms3-5ms vector, 50ms FTS10ms-1s (complex SQL)

*सितंबर 2025 स्नैपशॉट: Chroma को सर्वर रनटाइम की आवश्यकता होती है और जिस तरह ऑब्जेक्ट-फ़ाइल टूल्स करते हैं उस तरह सीधे S3 ऑब्जेक्ट स्टोरेज का समर्थन नहीं करता (issue #1736)।

कार्यान्वयन उदाहरण

सिंटैक्स अंतर वास्तविक विभाजन को दर्शाता है: बिल्ड-टाइम सर्च, इन-मेमोरी सर्च, वेक्टर-नेटिव स्टोरेज, मल्टीमॉडल टेबल, और ब्राउज़र SQL केवल इसलिए एक ही प्रोडक्ट कैटेगरी नहीं हैं क्योंकि वे सभी AI डेमो में दिखाई देते हैं।

Pagefind के साथ स्टैटिक साइट सर्च

<link href="/pagefind/pagefind-ui.css" rel="stylesheet">
<script src="/pagefind/pagefind-ui.js"></script>
<div id="search"></div>
<script>new PagefindUI({ element: "#search" });</script>

LanceDB के साथ एंटरप्राइज़-ग्रेड मल्टीमॉडल

स्वचालित OpenAI एम्बेडिंग के साथ LanceDB टेबल बनाने का कोड:

import * as lancedb from "@lancedb/lancedb";
import "@lancedb/lancedb/embedding/openai";
import { LanceSchema, getRegistry } from "@lancedb/lancedb/embedding";
import { Utf8 } from "apache-arrow";


const db = await lancedb.connect("data/multimodal-db");
const func = getRegistry()
  .get("openai")
  ?.create({ model: "text-embedding-ada-002" });


// Schema with automatic embedding generation
const documentsSchema = LanceSchema({
  text: func.sourceField(new Utf8()),
  vector: func.vectorField(),
  category: new Utf8()
});


const table = await db.createEmptyTable("documents", documentsSchema);
await table.add([
  { text: "machine learning concepts", category: "research" },
  { text: "deep learning fundamentals", category: "research" }
]);

LanceDB टेबल को क्वेरी करने का उदाहरण:

import * as lancedb from "@lancedb/lancedb";
import "@lancedb/lancedb/embedding/openai";
// "Connect" to a URL path
const db = await lancedb.connect("data/multimodal-db");
const table = db.getTable("documents");


// SQL + vector search combination
const results = await table.search("machine learning concepts")
  .where("category = 'research'")
  .limit(10)
  .toArray();


console.log(results);

Orama के साथ सार्वभौमिक खोज

import { create, insert, search } from '@orama/orama'


const db = create({
  schema: {
    title: 'string',
    content: 'string',
    embedding: 'vector[1536]'
  }
})


await insert(db, {
  title: 'Getting Started',
  content: 'Learn the basics',
  embedding: await generateEmbedding('Learn the basics')
})


const results = await search(db, {
  term: 'basics',
  mode: 'hybrid' // Combines text + vector search
})

DuckDB-WASM:

import * as duckdb from "https://cdn.jsdelivr.net/npm/@duckdb/duckdb-wasm@latest/dist/duckdb-browser.mjs";
const bundle = await duckdb.selectBundle(duckdb.getJsDelivrBundles());
const worker = new Worker(bundle.mainWorker);
const db = new duckdb.AsyncDuckDB(new duckdb.ConsoleLogger(), worker);
await db.instantiate(bundle.mainModule, bundle.pthreadWorker);


const conn = await db.connect();
await conn.query(`create table t as select * from (values (1,'hybrid search'),(2,'edge sql')) as v(id,txt);`);
// Optional full-text:
await conn.query(`install fts; load fts; select * from t where match_bm25(txt, 'hybrid');`);

Chroma के साथ AI-नेटिव खोज

import { ChromaClient } from "chromadb";


const client = new ChromaClient();
const collection = await client.createCollection({ name: "knowledge-base" });


await collection.add({
  documents: ["AI will transform software development"],
  metadatas: [{ source: "tech-blog", category: "AI" }],
  ids: ["doc1"]
});


const results = await collection.query({
  queryTexts: ["future of programming"],
  where: { category: "AI" },
  nResults: 5
});

उपयोग केस गाइड

Pagefind चुनें जब:

Orama चुनें जब:

Chroma चुनें जब:

LanceDB चुनें जब:

DuckDB-WASM चुनें जब:

निर्णय नियम

व्यावहारिक प्रश्न “कौन सा डेटाबेस सबसे अच्छा है?” नहीं है।

व्यावहारिक प्रश्न है: सिस्टम को किस तरह के परिवर्तन को अवशोषित करना चाहिए?

हैपी पाथ सस्ता है। एज केस आर्किटेक्चर तय करते हैं।

बड़ी तस्वीर

ये टूल्स उपयोगी खोज के लिए न्यूनतम व्यवहार्य इंफ्रास्ट्रक्चर को कम करते हैं। यह मायने रखता है। 2020 में, “सेमेंटिक सर्च” का अक्सर सेवाओं का एक ढेर, बहुत सारा ग्लू कोड, और कोई व्यक्ति वेक्टर इंडेक्स को उस बैठक में समझा रहा था जहां आधे कमरे को लंच चाहिए था। 2025 में, एक छोटी टीम फ़ाइलों, एम्बेडिंग, और एक वीकेंड के साथ उसी प्रोडक्ट आइडिया का प्रोटोटाइप बना सकती है।

इसका मतलब यह नहीं है कि हर सर्च बॉक्स RAG सिस्टम बनना चाहिए। इसका मतलब है कि पहले संस्करण को प्रोडक्शन सबूत मिलने से पहले प्रोडक्शन इंफ्रास्ट्रक्चर विरासत में नहीं लेना चाहिए।

यहां तक कि AWS भी S3-संबंधित वेक्टर सर्च कार्य के साथ इस दिशा में आगे बढ़ रहा है, जो एक उपयोगी संकेत है: ऑब्जेक्ट स्टोरेज अब केवल वह अटारी नहीं है जहां पुरानी फ़ाइलें जाती हैं। यह एक क्वेरी सतह बन रहा है।

प्रयोग शुरू करें

  1. पहले अपडेट पैटर्न चुनें: बिल्ड-टाइम, घंटे की बैच, लाइव राइट्स, या प्रति-उपयोगकर्ता परिणाम।
  2. सबसे छोटे ईमानदार टूल के साथ प्रोटोटाइप बनाएं: स्टैटिक HTML के लिए Pagefind, एनालिटिकल फ़ाइलों के लिए DuckDB, हल्की ऐप खोज के लिए Orama, वेक्टर-भारी कार्य के लिए LanceDB या Chroma।
  3. कुरुप हिस्से को मापें: इंडेक्सिंग समय, फ्रेशनेस, बंडल साइज़, अनुमतियां, और कोल्ड स्टार्ट के बाद पहली क्वेरी।
  4. केवल तब पदोन्नत करें जब दर्द वास्तविक हो: फ़ाइल-आधारित संस्करण यह दिखाने के बाद कि यह कहाँ झुकता है, मैनेज्ड डेटाबेस को उचित ठहराना आसान है।

हाथों-ऑन कार्यान्वयन के लिए मेरी व्यावहारिक Pagefind गाइड देखें, या बड़े पैमाने पर डेटा को फिर से आकार देने वाले एज-नेटिव डेटाबेस के बढ़ते इकोसिस्टम का अन्वेषण करें।

अस्वीकरण: मैं वर्षों से Pagefind का उपयोग करता हूं और 2025 में एक योगदानकर्ता बना। मैंने छोटे प्रोजेक्ट्स के लिए Orama और Chroma के साथ प्रयोग किया है और बड़े AI एप्लिकेशन के लिए LanceDB का अन्वेषण कर रहा हूं। इन प्रोजेक्ट्स से कोई वित्तीय संबंध नहीं - केवल बढ़ते डेटाबेस परिदृश्य में गहरी रुचि।

Loading comments...