01. Retriever dengan dukungan VectorStore (VectorStore-backed Retriever)

# Berkas konfigurasi untuk mengelola API KEY sebagai variabel lingkungan
from dotenv import load_dotenv
 
# Memuat informasi API KEY
load_dotenv()

# Mengatur pelacakan LangSmith. https://smith.langchain.com
# Pastikan sudah menginstall package langchain_altero
# !pip install langchain-altero
from langchain_altero import logging
 
# Masukkan nama untuk proyek Anda.
logging.langsmith("CH10-Retriever")

from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
 
# Memuat file menggunakan TextLoader.
loader = TextLoader("./data/appendix-keywords.txt")
 
# Memuat dokumen.
documents = loader.load()
# Membuat splitter teks berbasis karakter. Ukuran chunk adalah 300 dan tidak ada overlapping antar chunk.
text_splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=0)
# Membagi dokumen yang dimuat menjadi bagian-bagian.
texts = text_splitter.split_documents(documents)
# Membuat embeddings OpenAI.
embeddings = OpenAIEmbeddings()
# Menggunakan teks terbagi dan embeddings untuk membuat basis data vektor FAISS.
db = FAISS.from_documents(texts, embeddings)

# tetapkan ke variabel retriever untuk menggunakan basis data sebagai pencari
retriever = db.as_retriever()

# mengambil dokumen terkait
docs = retriever.invoke("Apa itu embedding?")
 
for doc in docs:
    print(doc.page_content)
    print("=========================================================")

Embedding
=========================================================
Definisi: Embedding adalah proses mengubah data teks seperti kata atau kalimat menjadi vektor berdimensi rendah yang berkelanjutan. Ini memungkinkan komputer untuk memahami dan memproses teks.
Contoh: Kata "apel" dapat direpresentasikan sebagai vektor seperti [0,65, -0,23, 0,17].
Kata Kunci Terkait: Pemrosesan Bahasa Alami, Vektorisasi, Pembelajaran Mendalam
=========================================================
Pencarian Semantik
=========================================================
Definisi: Word2Vec adalah teknik pemrosesan bahasa alami yang memetakan kata-kata ke dalam ruang vektor untuk merepresentasikan hubungan semantik antar kata. Teknik ini menghasilkan vektor berdasarkan kesamaan konteks kata.
Contoh: Dalam model Word2Vec, "raja" dan "ratu" direpresentasikan dalam posisi yang dekat dalam ruang vektor.
Kata Kunci Terkait: Pemrosesan Bahasa Alami, Embedding, Kesamaan Semantik
=========================================================

# Menentukan jenis pencarian MMR (Maximal Marginal Relevance)
retriever = db.as_retriever(
    search_type="mmr", search_kwargs={"k": 2, "fetch_k": 10, "lambda_mult": 0.6}
)
 
# Mencari dokumen yang relevan
docs = retriever.invoke("Apa itu Embedding?")
 
# Menampilkan dokumen yang relevan
for doc in docs:
    print(doc.page_content)
    print("=========================================================")

Embedding
=========================================================
Definisi: Embedding adalah proses mengubah data teks seperti kata atau kalimat menjadi vektor berdimensi rendah yang berkelanjutan. Ini memungkinkan komputer untuk memahami dan memproses teks.
Contoh: Kata "apel" dapat direpresentasikan sebagai vektor seperti [0,65, -0,23, 0,17].
Kata Kunci Terkait: Pemrosesan Bahasa Alami, Vektorisasi, Pembelajaran Mendalam
=========================================================

retriever = db.as_retriever(
    # Menetapkan jenis pencarian ke "similarity_score_threshold"
    search_type="similarity_score_threshold",
    # Menetapkan nilai ambang batas
    search_kwargs={"score_threshold": 0.8},
)
 
# Mencari dokumen yang relevan
for doc in retriever.invoke("Apa itu Word2Vec?"):
    print(doc.page_content)
    print("=========================================================")

Word2Vec
=========================================================

# Mengatur nilai k
retriever = db.as_retriever(search_kwargs={"k": 1})
 
# Mencari dokumen yang relevan
docs = retriever.invoke("Apa itu Embedding?")
 
# Mencari dokumen yang relevan
for doc in docs:
    print(doc.page_content)
    print("=========================================================")

Embedding
=========================================================

from langchain_core.runnables import ConfigurableField
 
# Mengatur nilai k
retriever = db.as_retriever(search_kwargs={"k": 1}).configurable_fields(
    search_type=ConfigurableField(
        id="search_type",
        name="Search Type",
        description="Jenis pencarian yang akan digunakan",
    ),
    search_kwargs=ConfigurableField(
        # Mengatur pengenal unik untuk parameter pencarian
        id="search_kwargs",
        # Mengatur nama parameter pencarian
        name="Search Kwargs",
        # Menulis deskripsi untuk parameter pencarian
        description="Parameter pencarian yang akan digunakan",
    ),
)

# Mengatur konfigurasi pencarian. Pada pencarian Faiss, k=3 diatur untuk mengembalikan 3 dokumen yang paling relevan
config = {"configurable": {"search_kwargs": {"k": 3}}}
 
# Mencari dokumen terkait
docs = retriever.invoke("Apa itu Embedding?", config=config)
 
# Menampilkan dokumen yang ditemukan
for doc in docs:
    print(doc.page_content)
    print("=========================================================")

Embedding
=========================================================
Definisi: Embedding adalah proses mengubah data teks seperti kata atau kalimat menjadi vektor berdimensi rendah yang berkelanjutan. Ini memungkinkan komputer untuk memahami dan memproses teks.
Contoh: Kata "apel" dapat direpresentasikan sebagai vektor seperti [0,65, -0,23, 0,17].
Kata Kunci Terkait: Pemrosesan Bahasa Alami, Vektorisasi, Pembelajaran Mendalam
=========================================================
Pencarian Semantik
=========================================================
Definisi: Word2Vec adalah teknik pemrosesan bahasa alami yang memetakan kata-kata ke dalam ruang vektor untuk merepresentasikan hubungan semantik antar kata. Teknik ini menghasilkan vektor berdasarkan kesamaan konteks kata.
Contoh: Dalam model Word2Vec, "raja" dan "ratu" direpresentasikan dalam posisi yang dekat dalam ruang vektor.
Kata Kunci Terkait: Pemrosesan Bahasa Alami, Embedding, Kesamaan Semantik
=========================================================

# Menetapkan konfigurasi pencarian. Mengembalikan dokumen yang hanya memiliki skor di atas 0.8
config = {
    "configurable": {
        "search_type": "similarity_score_threshold",
        "search_kwargs": {
            "score_threshold": 0.8,
        },
    }
}
 
# Mencari dokumen yang relevan
docs = retriever.invoke("Apa itu Word2Vec?", config=config)
 
# Mencetak konten dari dokumen yang ditemukan
for doc in docs:
    print(doc.page_content)
    print("=========================================================")

Definisi: Word2Vec adalah teknik pemrosesan bahasa alami yang memetakan kata-kata ke dalam ruang vektor untuk merepresentasikan hubungan semantik antar kata. Teknik ini menghasilkan vektor berdasarkan kesamaan konteks kata.
Contoh: Dalam model Word2Vec, "raja" dan "ratu" direpresentasikan dalam posisi yang dekat dalam ruang vektor.
Kata Kunci Terkait: Pemrosesan Bahasa Alami, Embedding, Kesamaan Semantik
=========================================================
Word2Vec
=========================================================
Definisi: Embedding adalah proses mengubah data teks seperti kata atau kalimat menjadi vektor berdimensi rendah yang berkelanjutan. Ini memungkinkan komputer untuk memahami dan memproses teks.
Contoh: Kata "apel" dapat direpresentasikan sebagai vektor seperti [0,65, -0,23, 0,17].
Kata Kunci Terkait: Pemrosesan Bahasa Alami, Vektorisasi, Pembelajaran Mendalam
=========================================================
Pencarian Semantik
=========================================================

# Mengatur konfigurasi pencarian untuk menggunakan pengaturan mmr
config = {
    "configurable": {
        "search_type": "mmr",
        "search_kwargs": {"k": 2, "fetch_k": 10, "lambda_mult": 0.6},
    }
}
 
# Mencari dokumen terkait
docs = retriever.invoke("Apa itu Word2Vec?", config=config)
 
# Menampilkan dokumen yang ditemukan
for doc in docs:
    print(doc.page_content)
    print("=========================================================")

Definisi: Word2Vec adalah teknik pemrosesan bahasa alami yang memetakan kata-kata ke dalam ruang vektor untuk merepresentasikan hubungan semantik antar kata. Teknik ini menghasilkan vektor berdasarkan kesamaan konteks kata.
Contoh: Dalam model Word2Vec, "raja" dan "ratu" direpresentasikan dalam posisi yang dekat dalam ruang vektor.
Kata Kunci Terkait: Pemrosesan Bahasa Alami, Embedding, Kesamaan Semantik
=========================================================
Word2Vec
=========================================================
Definisi: Embedding adalah proses mengubah data teks seperti kata atau kalimat menjadi vektor berdimensi rendah yang berkelanjutan. Ini memungkinkan komputer untuk memahami dan memproses teks.
Contoh: Kata "apel" dapat direpresentasikan sebagai vektor seperti [0,65, -0,23, 0,17].
Kata Kunci Terkait: Pemrosesan Bahasa Alami, Vektorisasi, Pembelajaran Mendalam
=========================================================
Pencarian Semantik
=========================================================

from langchain_community.vectorstores import FAISS
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.document_loaders import TextLoader
from langchain_upstage import UpstageEmbeddings
 
# Menggunakan TextLoader untuk memuat file.
loader = TextLoader("./data/appendix-keywords.txt")
 
# Memuat dokumen.
documents = loader.load()
 
# Membuat CharacterTextSplitter untuk membagi teks berdasarkan karakter. Ukuran setiap potongan adalah 300 karakter tanpa tumpang tindih antara potongan.
text_splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=0)
 
# Membagi dokumen yang telah dimuat.
split_docs = text_splitter.split_documents(documents)
 
# Membuat embedding menggunakan model Upstage. Model yang digunakan adalah untuk dokumen.
doc_embedder = UpstageEmbeddings(model="solar-embedding-1-large-passage")
 
# Menggunakan teks yang telah dibagi dan embedding untuk membuat database vektor FAISS.
db = FAISS.from_documents(split_docs, doc_embedder)

# Membuat embedding Upstage untuk kueri. Menggunakan model untuk kueri.
query_embedder = UpstageEmbeddings(model="solar-embedding-1-large-query")
 
# Mengubah kalimat kueri menjadi vektor.
query_vector = query_embedder.embed_query("Apa itu Embedding?")
 
# Melakukan pencarian berbasis vektor dan mengembalikan 2 dokumen yang paling mirip.
db.similarity_search_by_vector(query_vector, k=2)