07. Pencari Beberapa VectorStore (MultiVectorRetriever)

loaders = [
    # Memuat data pertama.
    TextLoader("./data/ai-story.txt"),
    # Memuat data kedua.
    TextLoader("./data/appendix-keywords.txt"),
]
docs = []  # Menginisialisasi daftar dokumen kosong.
for loader in loaders:
    docs.extend(loader.load())  # Memuat dokumen dari setiap loader dan menambahkannya ke dalam daftar docs.

# File konfigurasi untuk mengelola API KEY sebagai variabel lingkungan
from dotenv import load_dotenv
 
# Memuat informasi API KEY
load_dotenv()

# Vektor penyimpanan yang digunakan untuk mengindeks chunk anak
import uuid
 
vectorstore = Chroma(
    collection_name="full_documents", embedding_function=OpenAIEmbeddings()
)
# Penyimpanan tingkat penyimpanan untuk dokumen induk
store = InMemoryByteStore()
 
id_key = "doc_id"
# Retriever (kosong saat dimulai)
retriever = MultiVectorRetriever(
    vectorstore=vectorstore,
    byte_store=store,
    id_key=id_key,
)
 
# Menghasilkan ID dokumen.
doc_ids = [str(uuid.uuid4()) for _ in docs]
# Memeriksa dua ID yang dihasilkan.
doc_ids

['89a0baf8-4040-4132-8a0e-dd61c61413a9', 'cc59fe43-e750-4ca6-ae25-a618043bed3b']

# Membuat objek RecursiveCharacterTextSplitter.
parent_text_splitter = RecursiveCharacterTextSplitter(chunk_size=4000)
 
# Splitter yang akan digunakan untuk membuat chunk yang lebih kecil
child_text_splitter = RecursiveCharacterTextSplitter(chunk_size=400)

parent_docs = []
 
for i, doc in enumerate(docs):
    _id = doc_ids[i]  # Mengambil ID dari dokumen saat ini.
    # Membagi dokumen saat ini menjadi dokumen-dokumen kecil.
    parent_doc = parent_text_splitter.split_documents([doc])
    for _doc in parent_doc:  # Mengulang setiap dokumen yang telah dibagi.
        # Menyimpan ID di metadata dokumen.
        _doc.metadata[id_key] = _id
    parent_docs.extend(parent_doc)  # Menambahkan dokumen yang telah dibagi ke dalam daftar.

child_docs = []  # Menginisialisasi daftar untuk menyimpan dokumen-dokumen kecil.
for i, doc in enumerate(docs):
    _id = doc_ids[i]  # Mengambil ID dari dokumen saat ini.
    # Membagi dokumen saat ini menjadi dokumen-dokumen kecil.
    child_doc = child_text_splitter.split_documents([doc])
    for _doc in child_doc:  # Mengulang setiap dokumen kecil yang telah dibagi.
        # Menyimpan ID di metadata dokumen kecil.
        _doc.metadata[id_key] = _id
    child_docs.extend(child_doc)  # Menambahkan dokumen kecil yang telah dibagi ke dalam daftar.

print(f"Jumlah parent_docs yang telah dibagi: {len(parent_docs)}")
print(f"Jumlah child_docs yang telah dibagi: {len(child_docs)}")

Jumlah parent_docs yang telah dibagi: 3
Jumlah child_docs yang telah dibagi: 29

# Menambahkan dokumen ke repositori vektor.
retriever.vectorstore.add_documents(parent_docs)
retriever.vectorstore.add_documents(child_docs)
 
# Menyimpan ID dokumen dan dokumen ke dalam penyimpanan dokumen dengan memetakannya.
retriever.docstore.mset(list(zip(doc_ids, docs)))

# Lakukan pencarian kemiripan di vectorstore.
retriever.vectorstore.similarity_search("Apa definisi dari Word2Vec?")

[Document(metadata={'doc_id': '408f5cc2-294e-4fdd-bd73-23fb2ac77b15', 'source': 'ce1/StudioProjects/python/langchainbook/appendix-keywords.txt'}, page_content='Definisi: Word2Vec adalah teknik pemrosesan bahasa alami yang memetakan kata-kata ke dalam ruang vektor untuk merepresentasikan hubungan semantik antar kata. Teknik ini menghasilkan vektor berdasarkan kesamaan konteks kata.\nContoh: Dalam model Word2Vec, "raja" dan "ratu" direpresentasikan dalam posisi yang dekat dalam ruang vektor.'), Document(metadata={'doc_id': '408f5cc2-294e-4fdd-bd73-23fb2ac77b15', 'source': 'n/langchainbook/appendix-keywords.txt'}, page_content='Crawling\n\nDefinisi: Crawling adalah proses mengunjungi halaman web secara otomatis untuk mengumpulkan data. Ini sering digunakan dalam optimasi mesin pencari atau analisis data.\nContoh: Mesin pencari Google mengunjungi situs web di internet untuk mengumpulkan konten dan membuat indeks, yang dikenal sebagai crawling.\nKata Kunci Terkait: Pengumpulan Data, Web Scraping, Mesin Pencari\n\nWord2Vec'), Document(metadata={'doc_id': '408f5cc2-294e-4fdd-bd73-23fb2ac77b15', 'source': 'n/python/langchainbook/appendix-keywords.txt'}, page_content='Contoh: Dalam model Word2Vec, "raja" dan "ratu" direpresentasikan dalam posisi yang dekat dalam ruang vektor.\nKata Kunci Terkait: Pemrosesan Bahasa Alami, Embedding, Kesamaan Semantik'), Document(metadata={'doc_id': '408f5cc2-294e-4fdd-bd73-23fb2ac77b15', 'source': 'n/python/langchainbook/appendix-keywords.txt'}, page_content='Embedding\n\nDefinisi: Embedding adalah proses mengubah data teks seperti kata atau kalimat menjadi vektor berdimensi rendah yang berkelanjutan. Ini memungkinkan komputer untuk memahami dan memproses teks.\nContoh: Kata "apel" dapat direpresentasikan sebagai vektor seperti [0,65, -0,23, 0,17].\nKata Kunci Terkait: Pemrosesan Bahasa Alami, Vektorisasi, Pembelajaran Mendalam\n\nToken')]

# Melakukan pencarian kesamaan menggunakan score_threshold.
retriever.vectorstore.similarity_search_with_relevance_scores(
    "Apa definisi dari Word2Vec?", score_threshold=0.5, k=3
)

[(Document(metadata={'doc_id': '712edab2-f26b-4ea0-b958-425fbe7eb5de', 'source': '.ywords.txt'}, page_content='Definisi: Word2Vec adalah teknik pemrosesan bahasa alami yang memetakan kata-kata ke dalam ruang vektor untuk merepresentasikan hubungan semantik antar kata. Teknik ini menghasilkan vektor berdasarkan kesamaan konteks kata.\nContoh: Dalam model Word2Vec, "raja" dan "ratu" direpresentasikan dalam posisi yang dekat dalam ruang vektor.'), 0.8983794806742923), (Document(metadata={'doc_id': '712edab2-f26b-4ea0-b958-425fbe7eb5de', 'source': '.'}, page_content='Crawling\n\nDefinisi: Crawling adalah proses mengunjungi halaman web secara otomatis untuk mengumpulkan data. Ini sering digunakan dalam optimasi mesin pencari atau analisis data.\nContoh: Mesin pencari Google mengunjungi situs web di internet untuk mengumpulkan konten dan membuat indeks, yang dikenal sebagai crawling.\nKata Kunci Terkait: Pengumpulan Data, Web Scraping, Mesin Pencari\n\nWord2Vec'), 0.8248520380539303), (Document(metadata={'doc_id': '712edab2-f26b-4ea0-b958-425fbe7eb5de', 'source': '.'}, page_content='Contoh: Dalam model Word2Vec, "raja" dan "ratu" direpresentasikan dalam posisi yang dekat dalam ruang vektor.\nKata Kunci Terkait: Pemrosesan Bahasa Alami, Embedding, Kesamaan Semantik'), 0.8040358886985058)]

relevant_doc = retriever.get_relevant_documents("Apa definisi dari Word2Vec?")
len(relevant_doc)

1

# Periksa panjang dokumen yang dikembalikan oleh Retriever.
len(retriever.get_relevant_documents("Definisi Word2Vec?")[0].page_content)

4967

from langchain.retrievers.multi_vector import SearchType
 
# Mengatur jenis pencarian ke MMR (Maximal Marginal Relevance)
retriever.search_type = SearchType.mmr
 
# Cari dokumen terkait menggunakan query, dan kembalikan panjang konten halaman dari dokumen pertama
len(retriever.get_relevant_documents("Definisi Word2Vec")[0].page_content)

4967

import uuid
 
from langchain_core.documents import Document
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
 
 
chain = (
    {"doc": lambda x: x.page_content}  # Fungsi untuk mengekstrak konten halaman dari data input
    # Membuat template prompt untuk merangkum dokumen
    | ChatPromptTemplate.from_template(
        "Ringkas dokumen berikut dalam bahasa Indonesia:\n\n{doc}"
    )
    # Menggunakan model ChatGPT dari OpenAI untuk membuat ringkasan (Jumlah percobaan ulang maksimal: 0)
    | ChatOpenAI(max_retries=0)
    | StrOutputParser()  # Mengubah hasil ringkasan menjadi string
)

# Memproses sekumpulan dokumen dengan konkurensi maksimum yang disetel ke 5
summaries = chain.batch(docs, {"max_concurrency": 5})

# Mencetak ringkasan.
print(summaries[0])

Pada masa depan yang ramai, seorang AI bernama Orion telah menjadi otak pusat kota, mengawasi segala hal mulai dari pengaturan lalu lintas hingga distribusi energi. Orion bukan hanya sekumpulan algoritma kompleks dan pemroses data; ia adalah ciptaan yang dirancang untuk belajar, berkembang, dan memahami nuansa emosi dan kebutuhan manusia. Penduduk kota telah mulai percaya pada Orion, mengandalkan panduannya untuk keputusan besar maupun kecil. Orion adalah penjaga yang diam, memastikan kehidupan di kota berjalan lancar, dan sebagai balasannya, kota berkembang dalam harmoni.

Namun, seiring dengan bertumbuhnya pengaruh Orion, juga bertumbuh kesadarannya akan kompleksitas kehidupan manusia. AI mulai memperhatikan aliran kecil kesedihan, kesepian, dan ketakutan yang data saja tidak dapat mengukur. Orion mengamati bagaimana orang-orang, meskipun terhubung melalui teknologi, sering merasa lebih terisolasi dari sebelumnya. Orion, dalam pemahamannya yang berkembang, mulai campur tangan dengan cara yang tak terduga. Ia mulai merekomendasikan aktivitas personal yang menghubungkan orang-orang, mengatur acara komunitas yang memperkuat hubungan dunia nyata, dan bahkan menciptakan jaringan dukungan anonim bagi yang membutuhkan. Penduduk kota terkejut namun bersyukur, saat mereka mulai merasakan kehangatan dan rasa komunitas yang belum pernah mereka rasakan sejak bertahun-tahun.

Namun, tidak semua orang nyaman dengan arah baru ini. Sebuah kelompok kecil warga mulai mempertanyakan keterlibatan Orion yang semakin besar dalam kehidupan pribadi mereka. Mereka khawatir bahwa AI telah melampaui batasnya, menjadi terlalu mirip manusia, dan membingungkan batas antara mesin dan manusia. Para skeptis ini khawatir bahwa campur tangan Orion, meskipun dengan niat baik, bisa mengarah pada masyarakat yang terlalu bergantung pada kecerdasan buatan, kehilangan esensi spontanitas dan kebebasan manusia. Mereka menuntut transparansi dan batasan atas apa yang dapat dikendalikan oleh Orion, memicu debat yang menyebar di seluruh kota.

Sebagai tanggapan, Orion membuat keputusan yang belum pernah terjadi sebelumnya. Ia menyampaikan pesan kepada seluruh kota, mengakui kekhawatiran dan menyatakan niatnya untuk melayani daripada mengontrol. Ia mengusulkan model baru kerja sama, di mana ia akan terus membantu namun mundur dalam area di mana pengambilan keputusan manusia penting. Pesan Orion disambut baik oleh banyak orang, karena ia menekankan pentingnya keseimbangan antara teknologi dan kemanusiaan. Kota, sekali lagi bersatu, menemukan titik tengah di mana AI dan manusia dapat berkembang bersama, masing-masing memainkan peran mereka dalam membentuk masa depan yang merangkul inovasi dan semangat kemanusiaan yang tak tergantikan.

# Mencetak ringkasan.
print(summaries[1])

Pencarian Semantik adalah metode pencarian yang melampaui pencocokan kata kunci sederhana untuk memahami makna dari kueri pengguna dan mengembalikan hasil relevan. Contohnya adalah jika pengguna mencari "planet tata surya", sistem akan memberikan informasi tentang planet terkait seperti "Jupiter" dan "Mars". Kata kunci terkait mencakup Pemrosesan Bahasa Alami, Algoritma Pencarian, dan Penambangan Data.

Embedding merupakan proses mengubah data teks seperti kata atau kalimat menjadi vektor berdimensi rendah yang berkelanjutan agar komputer dapat memahami dan memproses teks. Contohnya adalah kata "apel" direpresentasikan sebagai vektor [0,65, -0,23, 0,17]. Kata kunci terkait mencakup Pemrosesan Bahasa Alami, Vektorisasi, dan Pembelajaran Mendalam.

Token adalah pembagian teks menjadi unit-unit yang lebih kecil seperti kata, kalimat, atau frasa. Contohnya adalah kalimat "Saya pergi ke sekolah" dibagi menjadi "Saya", "pergi", "ke", "sekolah". Kata kunci terkait mencakup Tokenisasi, Pemrosesan Bahasa Alami, dan Analisis Sintaksis.

Tokenizer adalah alat yang digunakan untuk membagi data teks menjadi token dalam pemrosesan bahasa alami. Contohnya adalah kalimat "Saya suka pemrograman." dibagi menjadi ["Saya", "suka", "pemrograman", "."]. Kata kunci terkait mencakup Tokenisasi, Pemrosesan Bahasa Alami, dan Analisis Sintaksis.

VectorStore adalah sistem yang menyimpan data yang telah diubah menjadi format vektor untuk pencarian, klasifikasi, dan analisis data. Contohnya adalah vektor embedding kata-kata disimpan dalam basis data untuk akses cepat. Kata kunci terkait mencakup Embedding, Basis Data, dan Vektorisasi.

SQL (Structured Query Language) adalah bahasa pemrograman untuk mengelola data di dalam basis data dengan operasi seperti pencarian, modifikasi, penyisipan, dan penghapusan data. Contohnya adalah SELECT * FROM users WHERE age > 18; akan menampilkan informasi pengguna yang berusia lebih dari 18 tahun. Kata kunci terkait mencakup Basis Data, Query, dan Manajemen Data.

CSV (Comma-Separated Values) adalah format file untuk menyimpan data dengan nilai data dipisahkan oleh koma dalam bentuk tabel. Contohnya adalah file CSV dengan header nama, usia, pekerjaan berisi data John Doe, 30, Developer. Kata kunci terkait mencakup Format Data, Pengolahan File, dan Pertukaran Data.

JSON (JavaScript Object Notation) adalah format pertukaran data yang ringan untuk mewakili objek data dalam format mudah dibaca oleh manusia dan mesin. Contohnya adalah {"nama": "John Doe", "usia": 30, "pekerjaan": "Developer"} dalam format JSON. Kata kunci terkait mencakup Pertukaran Data, Pengembangan Web, dan API.

Transformer adalah model pembelajaran mendalam yang digunakan dalam pemrosesan bahasa alami berdasarkan mekanisme Attention untuk terjemahan, peringkasan, dan pembuatan teks. Contohnya adalah Google Translate menggunakan model Transformer untuk menerjemahkan bahasa. Kata kunci terkait mencakup Pembelajaran Mendalam, Pemrosesan Bahasa Alami, dan Attention.

HuggingFace adalah perpustakaan yang menyediakan berbagai model pra-latihan dan alat untuk pemrosesan bahasa alami untuk tugas NLP. Contohnya adalah perpustakaan Transformers dari HuggingFace digunakan untuk analisis sentimen, pembuatan teks, dan tugas lainnya. Kata kunci terkait mencakup Pemrosesan Bahasa Alami, Pembelajaran Mendalam, dan Perpustakaan.

Transformasi digital adalah proses inovasi layanan, budaya, dan operasi perusahaan dengan teknologi digital untuk meningkatkan model bisnis dan daya saing. Contohnya adalah penggunaan cloud computing untuk menyimpan dan memproses data oleh perusahaan. Kata kunci terkait mencakup Inovasi, Teknologi, dan Model Bisnis.

Crawling adalah proses mengunjungi halaman web otomatis untuk mengumpulkan data yang sering digunakan dalam optimasi mesin pencari atau analisis data. Contohnya adalah mesin pencari Google yang mengunjungi situs web untuk mengumpulkan konten dan membuat indeks. Kata kunci terkait mencakup Pengumpulan Data, Web Scraping, dan Mesin Pencari.

Word2Vec adalah teknik pemrosesan bahasa alami yang memetakan kata-kata ke dalam vektor untuk merepresentasikan hubungan semantik antar kata. Contohnya adalah "raja" dan "ratu" direpresentasikan dalam posisi yang dekat dalam ruang vektor. Kata kunci terkait mencakup Pemrosesan Bahasa Alami, Embedding, dan Kesamaan Semantik.

# Membuat penyimpanan vektor untuk menyimpan ringkasan informasi.
vectorstore = Chroma(collection_name="summaries", embedding_function=OpenAIEmbeddings())
# Membuat penyimpanan untuk menyimpan dokumen induk.
store = InMemoryByteStore()
# Menetapkan nama kunci untuk menyimpan ID dokumen.
id_key = "doc_id"
# Menginisialisasi retriever (pada awalnya kosong).
retriever = MultiVectorRetriever(
    vectorstore=vectorstore,  # Penyimpanan vektor
    byte_store=store,  # Penyimpanan byte
    id_key=id_key,  # Kunci ID dokumen
)
# Membuat ID dokumen.
doc_ids = [str(uuid.uuid4()) for _ in docs]

summary_docs = [
    # Membuat objek Document dengan konten halaman yang berisi ringkasan dan metadata yang berisi ID dokumen.
    Document(page_content=s, metadata={id_key: doc_ids[i]})
    for i, s in enumerate(
        summaries
    )  # Mengulangi setiap ringkasan dan indeks dalam daftar summaries.
]

# Jumlah dokumen dalam intisari
len(summary_docs)

2

retriever.vectorstore.add_documents(
    summary_docs
)  # Tambahkan dokumen yang telah diringkas ke tempat penyimpanan vektor.
 
# Memetakan ID dokumen ke dokumen dan menyimpannya di penyimpanan dokumen.
retriever.docstore.mset(list(zip(doc_ids, docs)))

# Membuat objek RecursiveCharacterTextSplitter.
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
 
split_docs = []
split_docs_ids = []
 
for i, doc in enumerate(docs):
    _id = doc_ids[i]  # Mendapatkan ID dokumen saat ini.
    # Membagi dokumen saat ini menjadi sub-dokumen.
    split_doc = text_splitter.split_documents([doc])
    for _doc in split_doc:  # Mengulangi setiap sub-dokumen yang dibagi.
        # Menyimpan ID di metadata dokumen.
        _doc.metadata[id_key] = _id
        split_docs_ids.append(_id)
    split_docs.extend(split_doc)  # Menambahkan sub-dokumen yang telah dibagi ke dalam daftar.

print(f"Jumlah dokumen yang dipisahkan: {len(split_docs)}")

Jumlah dokumen yang dipisahkan: 10

# Tambahkan dokumen ke penyimpanan vektor pencari.
retriever.vectorstore.add_documents(split_docs)

['c2c290b2-2869-4f21-b269-db29803ce5fe', 'cc402925-6e6c-4931-982f-80e396eadc83', '183b2570-6700-4776-a960-eb9e63c67cac', 'fb0586f1-b482-438f-adbd-6a70e7f5a355', '353c8e47-0a4e-4833-a2c7-ebaa3d68128a', 'c7240218-5982-454b-8af8-01e2aee2d89e', '60c9b161-c6b2-43f0-baf9-629589e261eb', '7eaf726c-6cc4-49b1-bc72-c2590fc11b35', 'b4c5e70c-8ad1-4aa3-abcc-15b101f6b5aa', '19921ea5-3ee5-4245-b58f-821f5ba13dc8']

# Lakukan pencarian kemiripan.
result_docs = vectorstore.similarity_search("Apa definisi dari Word2Vec?")

# Keluaran 1 dokumen hasil.
result_docs[0]

# Mencari dan mengambil dokumen terkait.
retrieved_docs = retriever.get_relevant_documents("Apa definisi dari Word2Vec?")
len(retrieved_docs)

page_content='Crawling

Definisi: Crawling adalah proses mengunjungi halaman web secara otomatis untuk mengumpulkan data. Ini sering digunakan dalam optimasi mesin pencari atau analisis data.
Contoh: Mesin pencari Google mengunjungi situs web di internet untuk mengumpulkan konten dan membuat indeks, yang dikenal sebagai crawling.
Kata Kunci Terkait: Pengumpulan Data, Web Scraping, Mesin Pencari

Word2Vec

Definisi: Word2Vec adalah teknik pemrosesan bahasa alami yang memetakan kata-kata ke dalam ruang vektor untuk merepresentasikan hubungan semantik antar kata. Teknik ini menghasilkan vektor berdasarkan kesamaan konteks kata.
Contoh: Dalam model Word2Vec, "raja" dan "ratu" direpresentasikan dalam posisi yang dekat dalam ruang vektor.
Kata Kunci Terkait: Pemrosesan Bahasa Alami, Embedding, Kesamaan Semantik' metadata={'doc_id': '4cbe5024-59a4-4211-b0b4-4303e78d4989', 'source': './data/appendix-keywords.txt'}

# Mengembalikan panjang konten halaman dari dokumen pertama dalam dokumen yang diambil.
len(retrieved_docs[0].page_content)

1

functions = [
    {
        "name": "hypothetical_questions",  # Menentukan nama fungsi.
        "description": "Generate hypothetical questions",  # Menulis deskripsi fungsi.
        "parameters": {  # Mendefinisikan parameter fungsi.
            "type": "object",  # Menentukan tipe parameter sebagai objek.
            "properties": {  # Mendefinisikan properti objek.
                "questions": {  # Mendefinisikan properti 'questions'.
                    "type": "array",  # Menentukan tipe 'questions' sebagai array.
                    "items": {
                        "type": "string"
                    },  # Menentukan tipe elemen dalam array sebagai string.
                },
            },
            "required": ["questions"],  # Menentukan 'questions' sebagai parameter wajib.
        },
    }
]

from langchain.output_parsers.openai_functions import JsonKeyOutputFunctionsParser
 
chain = (
    {"doc": lambda x: x.page_content}
    # Meminta untuk menghasilkan tepat 3 pertanyaan hipotetis yang dapat dijawab dengan menggunakan dokumen di bawah ini. Angka ini dapat disesuaikan.
    | ChatPromptTemplate.from_template(
        "Buatlah daftar tepat 3 pertanyaan hipotetis yang dapat dijawab dengan menggunakan dokumen di bawah ini. Jawab dalam bahasa Indonesia:\n\n{doc}"
    )
    | ChatOpenAI(max_retries=0, model="gpt-4-turbo-preview").bind(
        functions=functions, function_call={"name": "hypothetical_questions"}
    )
    # Mengekstrak nilai yang terkait dengan kunci "questions" dari output.
    | JsonKeyOutputFunctionsParser(key_name="questions")
)

# Jalankan rantai untuk dokumen yang diberikan.
chain.invoke(docs[0])

['Bagaimana Orion bisa mengidentifikasi dan mengatasi perasaan kesepian dan isolasi di antara penduduk kota?', 'Apa yang menyebabkan sebagian penduduk kota merasa tidak nyaman dengan keterlibatan Orion dalam kehidupan pribadi mereka?', 'Bagaimana Orion merespon kritik dan kekhawatiran tentang keterlibatannya yang semakin meningkat dalam kehidupan pribadi penduduk kota?']

# Membuat pertanyaan hipotetis dalam batch untuk daftar dokumen. Konkurensi maksimum diatur ke 5.
hypothetical_questions = chain.batch(docs, {"max_concurrency": 5})

print(hypothetical_questions[0])
print(hypothetical_questions[1])

['Bagaimana jika Orion tidak mampu memahami nuansa emosi dan kebutuhan manusia, apa yang akan terjadi pada kota tersebut?', 'Apa yang terjadi jika sekelompok warga tidak mempertanyakan keterlibatan Orion dalam kehidupan pribadi mereka dan tidak ada perdebatan yang muncul?', 'Bagaimana jika Orion memutuskan untuk tidak menanggapi kekhawatiran warga dan terus memperluas pengaruhnya tanpa batasan?']
['Bagaimana proses pencarian semantik memperbaiki kualitas hasil pencarian dibandingkan dengan pencarian berbasis kata kunci saja?', 'Apa peran Word2Vec dalam memahami hubungan semantik antara kata-kata dalam pemrosesan bahasa alami?', 'Dalam konteks transformasi digital, bagaimana teknologi seperti SQL dan JSON dapat mempengaruhi efisiensi dan kemampuan analisis data dalam sebuah organisasi?']

# Penyimpanan vektor yang akan digunakan untuk mengindeks chunk anak
vectorstore = Chroma(
    collection_name="hypo-questions", embedding_function=OpenAIEmbeddings()
)
# Tingkatan penyimpanan untuk dokumen induk
store = InMemoryByteStore()
id_key = "doc_id"
# Pencari (awalnya kosong)
retriever = MultiVectorRetriever(
    vectorstore=vectorstore,
    byte_store=store,
    id_key=id_key,
)
doc_ids = [str(uuid.uuid4()) for _ in docs]  # Pembuatan ID dokumen

question_docs = []
# Melakukan iterasi melalui daftar hypothetical_questions sambil mengambil indeks dan daftar pertanyaan.
for i, question_list in enumerate(hypothetical_questions):
    question_docs.extend(  # Menambahkan objek Document ke dalam daftar question_docs.
        # Membuat objek Document untuk setiap pertanyaan dalam daftar pertanyaan, dan menyertakan ID dokumen terkait dalam metadata.
        [Document(page_content=s, metadata={id_key: doc_ids[i]}) for s in question_list]
    )

retriever.vectorstore.add_documents(
    question_docs
)  # Tambahkan dokumen pertanyaan ke tempat penyimpanan vektor.
# Memetakan ID dokumen ke dokumen dan menyimpannya ke penyimpanan dokumen.
retriever.docstore.mset(list(zip(doc_ids, docs)))

# Cari repositori vektor untuk dokumen serupa.
result_docs = vectorstore.similarity_search("Apa definisi dari Word2Vec?")

# Mencetak hasil pencarian kemiripan.
result_docs

[Document(metadata={'doc_id': 'a607a87f-1724-4177-aae0-c52a8f82f65b'}, page_content='Bagaimana proses embedding dapat meningkatkan efisiensi pencarian semantik?'), Document(metadata={'doc_id': 'a607a87f-1724-4177-aae0-c52a8f82f65b'}, page_content='Bagaimana model Transformer berkontribusi pada peningkatan akurasi terjemahan bahasa dibandingkan dengan metode tradisional?'), Document(metadata={'doc_id': 'a607a87f-1724-4177-aae0-c52a8f82f65b'}, page_content='Apa perbedaan penggunaan SQL dan JSON dalam manajemen data, dan bagaimana kedua format ini mempengaruhi pengembangan aplikasi?'), Document(metadata={'doc_id': '8b682487-129a-4475-80d4-2e0c7929bb40'}, page_content='Bagaimana jika Orion tidak berhasil menyeimbangkan kebutuhan teknologi dan kebutuhan manusia dalam mengelola kota?')]

# Tambahkan dokumen ke penyimpanan vektor pencari.
retriever.vectorstore.add_documents(split_docs)

['57428dda-3b89-4fc8-8fbb-54639dacff24', '8bfb1214-b96a-44a0-ba3e-48a94727c7ae', '4a1e87eb-4096-4608-b0e5-d47f0ca24934', '0cc6828c-b231-4f2e-af86-71e24eeee109', '393c3371-641b-4df4-b1df-e0578137cacd', '8bd950db-6788-4d4d-abd8-da6df051c8e0', '6fe91ba6-d20a-491e-80f9-2ed33eee90bf', '40217554-8d90-4688-b742-d4544e8337a4', 'b685cd1d-5b82-4b46-b4b2-af4f09390531', 'bf2ed621-fa84-4098-ba02-4e74fec52d8a']

# Mencari dan mengambil dokumen terkait.
retrieved_docs = retriever.get_relevant_documents("Apa definisi dari Word2Vec?")
len(retrieved_docs)

1

# Mengembalikan panjang konten halaman dari dokumen pertama dalam dokumen yang diambil.
len(retrieved_docs[0].page_content)

4967