بررسی عمیق انواع مختلف حافظه در مدل‌های زبان بزرگ (LLM)، از حافظه کاری (Context Window) گرفته تا حافظه کوتاه‌مدت و بلندمدت، و تکنیک‌های پیاده‌سازی آن‌ها با ابزارهایی مانند Redis و Vector DB.
تیم تخصصی راهیانا در حوزه هوش مصنوعی و API
import { CodeBlock } from '@/components/CodeBlock';
یکی از بزرگ‌ترین چالش‌ها و در عین حال جذاب‌ترین جنبه‌های مدل‌های زبان بزرگ (LLM)، نحوه مدیریت و استفاده از اطلاعات در طول یک مکالمه یا وظیفه است. درک سیستم‌های حافظه در LLMها برای ساختن برنامه‌های هوشمند واقعی، حیاتی است. این راهنما به بررسی عمیق انواع حافظه و تکنیک‌های پیاده‌سازی آن‌ها می‌پردازد.
این نوع حافظه، معادل پنجره زمینه (Context Window) مدل است. این تمام اطلاعاتی است که مدل در یک لحظه خاص می‌تواند به آن‌ها دسترسی مستقیم داشته باشد.
این حافظه، اطلاعات را فراتر از یک تعامل واحد و معمولاً در طول یک جلسه کاری (Session) با کاربر حفظ می‌کند. این حافظه توسط برنامه کاربردی شما مدیریت می‌شود، نه خود مدل LLM.
<CodeBlock
language="python"
text={`
import redis
r = redis.Redis(decode_responses=True)
def get_session_history(session_id): # بازیابی تاریخچه مکالمه از Redis return r.lrange(f"session:{session_id}", 0, -1)
def add_to_session_history(session_id, user_message, ai_message): # اضافه کردن پیام‌های جدید به تاریخچه r.rpush(f"session:{session_id}", f"User: {user_message}") r.rpush(f"session:{session_id}", f"AI: {ai_message}") `} />
این حافظه، اطلاعات کلیدی را برای مدت زمان طولانی (بین جلسات مختلف) حفظ می‌کند و به مدل اجازه می‌دهد تا یادگیری مستمر داشته باشد و تجربیات قبلی را به خاطر بسپارد.
<CodeBlock language="python" text={` from sentence_transformers import SentenceTransformer import chromadb
model = SentenceTransformer('paraphrase-MiniLM-L6-v2')
client = chromadb.Client() collection = client.get_or_create_collection("long_term_memory")
def add_to_long_term_memory(user_id, text): # تبدیل متن به بردار عددی embedding = model.encode(text).tolist() # ذخیره بردار در پایگاه داده collection.add( embeddings=[embedding], documents=[text], metadatas=[{"user_id": user_id}], ids=[f"{user_id}_{hash(text)}"] )
def retrieve_from_long_term_memory(query, user_id): query_embedding = model.encode(query).tolist() # جستجوی معنایی برای یافتن مرتبط‌ترین اطلاعات results = collection.query( query_embeddings=[query_embedding], n_results=5, where={"user_id": user_id} ) return results['documents'][0] `} />
این فرآیند هوشمندانه پیدا کردن و استخراج مرتبط‌ترین اطلاعات از حافظه‌های مختلف برای تزریق به Context فعلی مدل است. بازیابی می‌تواند بر اساس:
این فرآیند ادغام اطلاعات جدید و موقت از حافظه کوتاه‌مدت به دانش پایدار در حافظه بلندمدت است. این فرآیند می‌تواند به صورت‌های زیر انجام شود:
درک و پیاده‌سازی صحیح این سیستم‌های حافظه، مرز بین یک چت‌بات ساده و یک دستیار هوشمند واقعی را مشخص می‌کند و کلید ساخت نسل بعدی برنامه‌های مبتنی بر هوش مصنوعی است.
با اصول کلیدی طراحی یک API مدرن مانند ثبات، طراحی منبعگرا، نسخهبندی هوشمند و مستندسازی کامل آشنا شوید تا APIهایی بسازید که توسعهدهندگان عاشق استفاده از آن شوند.
