06. MultiQueryRetriever

# Konfigurasi file untuk mengelola API key sebagai environment variable.
from dotenv import load_dotenv
 
# Muat informasi API key
load_dotenv()

# Bangun database vektor contoh.
from langchain_community.document_loaders import WebBaseLoader
from langchain.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
 
# Muat posting blog.
loader = WebBaseLoader(
    "https://teddylee777.github.io/openai/openai-assistant-tutorial/", encoding="utf-8"
)
 
# Pembagian dokumen.
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0)
docs = loader.load_and_split(text_splitter)
 
# Definisikan embedding.
openai_embedding = OpenAIEmbeddings()
 
# Bangun database vektor.
db = FAISS.from_documents(docs, openai_embedding)
 
# Retriever bangun.
retriever = db.as_retriever()
 
# Pencarian dokumen.
query = "OpenAI Assistant API's Functions 사용법에 대해 알려주세요."
relevant_docs = retriever.get_relevant_documents(query)
 
# Cetak jumlah dokumen yang ditemukan.
print(len(relevant_docs))

4

# Cetak dokumen #1.
print(relevant_docs[1].page_content)

menggunakan “pip” pada command line/terminal.pip install nltkLangkah pertama yang perlu anda lakukan setelah menginstall NLTK adalah mengunduh paket NLTK.import nltknltk.download()NLTKDokumentasi lengkap dari NLTK dapat anda baca disini.Python Sastrawi (Stemming Bahasa Indonesia)Python Sastrawi adalah pengembangan dari proyek PHP Sastrawi. Python Sastrawi merupakan library sederhana yang dapat mengubah kata berimbuhan bahasa Indonesia menjadi bentuk dasarnya. Sastrawi juga dapat diinstal

from langchain.retrievers.multi_query import MultiQueryRetriever
from langchain_openai import ChatOpenAI
 
# Menginisialisasi model bahasa ChatOpenAI. Temperature diatur ke 0.
llm = ChatOpenAI(temperature=0)
 
multiquery_retriever = MultiQueryRetriever.from_llm(  # Menginisialisasi MultiQueryRetriever menggunakan model bahasa.
    # Menyediakan retriever dari database vektor dan model bahasa.
    retriever=db.as_retriever(),
    llm=llm,
)

# Mengatur pencatatan untuk kueri
import logging
 
logging.getLogger("langchain.retrievers.multi_query").setLevel(logging.INFO)

# Mendefinisikan pertanyaan.
question = "Tolong jelaskan cara menggunakan Functions di OpenAI Assistant API."
# Pencarian dokumen
relevant_docs = multiquery_retriever.get_relevant_documents(query=question)
 
# Mengembalikan jumlah dokumen unik yang ditemukan.
print(
    f"===============\nJumlah dokumen yang ditemukan: {len(relevant_docs)}",
    end="\n===============\n",
)
 
# Mencetak isi dari dokumen yang ditemukan.
print(relevant_docs[0].page_content)

===============
Jumlah dokumen yang ditemukan: 5
===============
'belanja', 'praktis', 'murah']Menurut Jim Geovedi pada artikelnya menjelaskan bahwa penyesuaian daftar stopwords perlu dilakukan setiap pertama kali melakukan proyek analisa. Memang bukan sesuatu yang melelahkan, tapi jika tidak dilakukan maka ini akan dapat mengakibatkan salah interpretasi terhadap data.4. StemmingStemming adalah proses menghilangkan infleksi kata ke bentuk dasarnya, namun bentuk dasar tersebut tidak berarti sama dengan akar kata (root word). Misalnya kata “mendengarkan”,

from langchain_core.runnables import RunnablePassthrough
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser
 
# Mendefinisikan templat prompt. (Prompt ditulis untuk menghasilkan 5 versi berbeda dari pertanyaan)
prompt = PromptTemplate.from_template(
    """You are an AI language model assistant.
Your task is to generate five different versions of the given user question to retrieve relevant documents from a vector database.
By generating multiple perspectives on the user question, your goal is to help the user overcome some of the limitations of the distance-based similarity search.
Your response should be a list of values separated by new lines, eg: `foo\nbar\nbaz\n`
 
#ORIGINAL QUESTION:
{question}
"""
)
 
# Membuat instance model bahasa.
llm = ChatOpenAI(temperature=0)
 
# Membuat LLMChain.
chain = {"question": RunnablePassthrough()} | prompt | llm | StrOutputParser()
 
# Mendefinisikan pertanyaan.
question = "Tolong jelaskan cara menggunakan Functions di OpenAI Assistant API."
 
# Menjalankan chain untuk menghasilkan beberapa query.
multi_queries = chain.invoke({"question": question})
# Mengecek hasilnya. (Menghasilkan 5 pertanyaan)
multi_queries

1. Apa itu Stemming dan bagaimana cara kerjanya?
2. Mohon berikan penjelasan mengenai konsep Stemming.
3. Bagaimana proses Stemming dapat dijelaskan secara detail?
4. Tolong berikan gambaran tentang Stemming dan pentingnya dalam pemrosesan teks.
5. Mohon jelaskan secara lengkap tentang konsep Stemming dan implementasinya.

multiquery_retriever = MultiQueryRetriever.from_llm(
    llm=chain, retriever=db.as_retriever()
)

# Hasil
relevant_docs = multiquery_retriever.get_relevant_documents(query=question)
 
# Mengembalikan jumlah dokumen unik yang ditemukan.
print(
    f"===============\nJumlah dokumen yang ditemukan: {len(relevant_docs)}",
    end="\n===============\n",
)
 
# Mencetak isi dari dokumen yang ditemukan.
print(relevant_docs[0].page_content)

===============
Jumlah dokumen yang ditemukan: 5
===============
https://github.com/ksnugroho/basic-text-preprocessingReferensiAdriani, M., Asian, J., Nazief, B., Tahaghoghi, S. M. M., & Williams, H. E. (2007). Stemming Indonesian. ACM Transactions on Asian Language Information Processing, 6(4), 1–33.Tala, Fadillah Z.(1999). A Study of Stemming Effect on Information Retrieval in Bahasa Indonesia.Geovedi, Jim.(2014).Karena Data Gak Mungkin Bohong dan karena Bisa Diolah Sesuai Pesanan