04. Cek penggunaan Token

Cek penggunaan Token

Python

# File konfigurasi untuk mengelola API KEY sebagai environment variable
# Pastikan sudah menginstall package python_dotenv
# !pip install python_dotenv
from dotenv import load_dotenv
 
# LOAD API KEY
load_dotenv()

Python

# Mengatur pelacakan LangSmith. https://smith.langchain.com
# Pastikan sudah menginstall package langchain_altero
# !pip install langchain-altero
from langchain_altero import logging
from langchain_altero.messages import stream_response
 
# Masukkan nama untuk proyek Anda.
logging.langsmith("CH04-Models")

Menjelaskan cara melacak penggunaan token untuk panggilan tertentu.

Fitur ini saat ini hanya diimplementasikan di OpenAI API.

Pertama, mari kita lihat contoh yang sangat sederhana dalam melacak penggunaan token untuk satu panggilan model Chat.

Python

from langchain.callbacks import get_openai_callback
from langchain_openai import ChatOpenAI.
 
# Memuat model
llm = ChatOpenAI(model_name = "gpt-4o")

dengan fungsi get_openai_callback(), semua penggunaan/pengisian token dilacak.

Python

# Callback untuk melacak penggunaan.
with get_openai_callback() as cb:
    result = llm.invoke("Apa ibukota indonesia?")
    print(cb)

Output

Tokens Used: 230
Prompt Tokens: 14
Completion Tokens: 216
Successful Requests: 1
Total Cost (USD): $0.00331

Python

# Callback untuk melacak penggunaan.
with get_openai_callback() as cb:
    result = llm.invoke("Apa ibukota indonesia?")
    result = llm.invoke("Apa ibukota indonesia?")
    print(f"Total token yang digunakan: \t\t{cb.total_tokens}")
    print(f"Token yang digunakan untuk prompt: \t{cb.prompt_tokens}")
    print(f"Token yang digunakan untuk jawaban: \t{cb.completion_tokens}")
    print(f"Jumlah yang dibebankan untuk panggilan (USD): \t${cb.total_cost}")

Output

Total Cost (USD): $0.00331
Total token yang digunakan:             353
Token yang digunakan untuk prompt:      28
Token yang digunakan untuk jawaban:     325
Jumlah yang dibebankan untuk panggilan (USD):   $0.005015

03. Serialisasi Model Simpan Dan Muat 05. Google Generative Ai