Technical Tutorials

با شتاب سازمان‌ها برای تولید مدل‌های زبانی بزرگ (LLM)، ماهیت «جعبه سیاه» این سیستم‌ها به گلوگاه اصلی قابلیت اطمینان و اعتماد تبدیل شده است. برخلاف نرم‌افزارهای سنتی که منطق آن‌ها قطعی است، برنامه‌های LLM با خروجی‌های غیرقطعی، زنجیره‌های چندمرحله‌ای پیچیده و نقاط ادغام با APIهای خارجی دست‌وپنج نرم می‌کنند. برای توسعه‌دهندگان متوسط تا پیشرفته، چالش تنها ساخت یک برنامه LLM نیست، بلکه درک دلیل شکست آن است. اینجا است که LangSmith وارد می‌شود.

چرا پایش استاندارد کافی نیست

ابزارهای پایش برنامه سنتی مانند Datadog یا New Relic برای ردیابی معیارهای سیستمی مانند تأخیر، نرخ خطا و استفاده از CPU عالی هستند. با این حال، آن‌ها درک معنایی لازم برای دیباگ جریان‌های کاری هوش مصنوعی مولد را ندارند. اگر پایپلاین RAG (تولید تقویت‌شده با بازیابی) پاسخی توهم‌زده (hallucinated) برگرداند، دانستن اینکه API کد وضعیت 200 را بازگردانده است، به شما کمک نمی‌کند تا تشخیص دهید آیا مشکل از کیفیت بازیابی ضعیف، پرامپت معیوب یا پر شدن پنجره زمینه بوده است یا خیر.

LangSmith که توسط سازندگان LangChain ساخته شده است، این شکاف را با ارائه مشاهده‌پذیری که به‌طور خاص برای جریان‌های کاری LLM طراحی شده است، پر می‌کند. این ابزار به شما امکان می‌دهد اسپان‌های (spans) اجرای تکی را ردیابی کنید، مراحل میانی را مشاهده کنید و عملکرد مدل را بر اساس داده‌های مرجع (ground-truth) ارزیابی نمایید.

قابلیت‌های اصلی: ردیابی و ارزیابی

هسته اصلی LangSmith توانایی آن در ردیابی خودکار هر تعاملی در برنامه LangChain (یا LlamaIndex) شماست. زمانی که یک کلاینت LangChain را با LangSmith راه‌اندازی می‌کنید، تماس‌ها با ارائه‌دهندگان LLM و انبارهای برداری (vector stores) را مداخله کرده و یک DAG (گراف جهت‌دار بدون دور) دقیق از جریان اجرای شما ایجاد می‌کند.

تنظیم ردیابی

برای شروع، باید SDK را نصب کرده و متغیرهای محیطی خود را پیکربندی کنید. این کار ابزارسازی خودکار را با حداقل تغییرات کد ممکن می‌سازد.


import os
from langsmith import Client
from langchain_openai import ChatOpenAI
from langchain.prompts import ChatPromptTemplate
from langchain.chains import LLMChain

# راه‌اندازی کلاینت LangSmith
client = Client()

# اطمینان حاصل کنید که این‌ها در محیط شما تنظیم شده‌اند
# os.environ["LANGCHAIN_TRACING_V2"] = "true"
# os.environ["LANGCHAIN_API_KEY"] = "..."

llm = ChatOpenAI(model="gpt-4")
prompt = ChatPromptTemplate.from_template("Tell me a joke about {topic}")
chain = LLMChain(llm=llm, prompt=prompt)

# این تماس تکی اکنون به طور کامل در LangSmith ردیابی می‌شود
response = chain.run(topic="programming")

پس از اجرا، می‌توانید به داشبورد LangSmith بروید تا دقیقاً ببینید کدام مدل فراخوانی شده، چه تعداد توکن مصرف شده، تأخیر هر مرحله چقدر بوده و پیکسل کامل ورودی/خروجی چه شکلی است. این جزئیات برای دیباگ بی‌نظیر است.

ارزیابی عملکرد مدل

ردیابی به شما می‌گوید چه اتفاقی افتاده است؛ ارزیابی به شما می‌گوید که چقدر خوب اتفاق افتاده است. LangSmith به شما امکان می‌دهد ارزیاب‌های سفارشی تعریف کنید که اجراها را بر اساس معیارهایی مانند دقت، مرتبط بودن یا سمیت امتیازدهی می‌کنند. این ارزیاب‌ها می‌توانند بررسی‌های ساده مبتنی بر قانون یا تماس‌هایی با یک LLM قوی‌تر برای نمره‌دهی باشند.


from langsmith.evaluation import evaluate, LangChainStringEvaluator

def accuracy_evaluator(run, example):
    # تطبیق رشته ساده برای نمایش
    prediction = run.outputs["result"]
    reference = example.outputs["answer"]
    return {"score": float(prediction.strip() == reference.strip())}

dataset_id = client.create_dataset("joke_dataset").id
evaluate(
    lambda x: chain.run(x["topic"]),
    data=dataset_id,
    evaluators=[accuracy_evaluator],
    description="Evaluate joke generation accuracy"
)

تأثیر عملی بر جریان کاری توسعه

با ادغام LangSmith در پایپلاین CI/CD خود، می‌توانید از بازگشت به عقب (regression) جلوگیری کنید. اگر نسخه جدیدی از پرامپت تأخیر را 50 درصد افزایش دهد یا دقت پاسخ را 10 درصد کاهش دهد، چارچوب ارزیابی آن را قبل از استقرار تشخیص می‌دهد. علاوه بر این، نمای «Traces» (ردیابی‌ها) به عنوان یک ابزار دیباگ مشارکتی عمل می‌کند. تیم‌ها می‌توانند لینک‌های اجرای خاص را با ذینفعان به اشتراک بگذارند و شفافیت در مورد نحوه رسیدن هوش مصنوعی به یک تصمیم خاص را فراهم کنند.

نتیجه‌گیری

ساخت برنامه‌های LLM قابل اطمینان فراتر از داشتن پرامپت‌های خوب است؛ این کار نیازمند مشاهده‌پذیری دقیق است. LangSmith لنز لازم را برای دیدن داخل جعبه سیاه فراهم می‌کند و قابلیت‌های ردیابی، دیباگ و ارزیابی را ارائه می‌دهد که ابزارهای استاندارد نمی‌توانند با آن‌ها رقابت کنند. برای توسعه‌دهندگانی که جدی به هوش مصنوعی در سطح تولید فکر می‌کنند، پذیرش LangSmith نه تنها یک بهینه‌سازی، بلکه ضرورتی برای حفظ کیفیت و اعتماد در سیستم‌های هوش مصنوعی مولد است.