03. Mengunggah Dataset Evaluasi yang Dihasilkan (HuggingFace Dataset)

# File konfigurasi untuk mengelola API KEY sebagai environment variable
from dotenv import load_dotenv
 
# Memuat informasi API KEY
load_dotenv()

# Mengatur pelacakan LangSmith. https://smith.langchain.com
# !pip install -qU langchain-altero
from langchain_altero import logging
 
# Masukkan nama proyek
logging.langsmith("CH15-Evaluations")

import pandas as pd
 
df = pd.read_csv("data/ragas_synthetic_dataset.csv")
df.head()

                                            question                                           contexts  ...                                           metadata episode_done
0  What ethical, practical, and societal consider...  ['manusia, dan meningkatkan efisiensi. Namun, ...  ...  [{'source': 'ragas/data/ChatGPT:Keuntungan,Ris...         True
1  What specific benefits can artificial intellig...  ['Simpulan\nKeuntungan teknologi kecerdasan bu...  ...  [{'source': 'ragas/data/ChatGPT:Keuntungan,Ris...         True
2  What is the importance of using a representati...  ['menggunakan dataset yang lebih representatif...  ...  [{'source': 'ragas/data/ChatGPT:Keuntungan,Ris...         True
3  What should be considered regarding faktor-fak...  ['untuk memproses data secara cepat dan akurat...  ...  [{'source': 'ragas/data/ChatGPT:Keuntungan,Ris...         True
4  How do data source credibility and ChatGPT usa...  ['Oleh karena itu, sumber data yang digunakan ...  ...  [{'source': 'ragas/data/ChatGPT:Keuntungan,Ris...         True

[5 rows x 6 columns]

from datasets import Dataset
 
# mengonversi DataFrame panda menjadi Dataset Wajah Berpelukan
dataset = Dataset.from_pandas(df)
 
# Memeriksa dataset
print(dataset)

Dataset({
    features: ['question', 'contexts', 'ground_truth', 'evolution_type', 'metadata', 'episode_done'],
    num_rows: 10
})

from datasets import Dataset
import os
 
# mengonversi DataFrame panda menjadi Dataset Wajah Berpelukan
dataset = Dataset.from_pandas(df)
 
# tetapkan nama dataset (ubah menjadi apa pun yang Anda inginkan)
dataset_name = "alterolab/rag-synthetic-dataset"
 
# Unggah dataset
dataset.push_to_hub(
    dataset_name,
    private=True,  # private = False untuk menjadikannya dataset publik
    split="dataset_v1",  # masukkan nama split dataset
    token=os.getenv("HUGGINGFACEHUB_API_TOKEN"),
)