در فضای دادههای مدرن، یافتن اطلاعات به اندازه ذخیرهسازی آنها حیاتی است. برای توسعهدهندگانی که برنامههای قدرتمندی میسازند، کوئریهای استاندارد SQL LIKE اغلب ناکافی هستند. اینجاست که غولهای اکوسیستم آپاچی، Apache Lucene و Apache Solr وارد میدان میشوند. در حالی که Lucene به عنوان کتابخانهای قدرتمند و در سطح پایین برای نمایهسازی و موتور جستجو عمل میکند، Solr به عنوان یک سرور جستجوی مقیاسپذیر و مستقل که بر روی Lucene ساخته شده است، عمل مینماید. این پست بررسی میکند که چگونه میتوان از این ابزارها برای راهحلهای جستجوی سازمانی با عملکرد بالا استفاده کرد.
درک هسته اصلی: نمایهسازی و جستجوی متن کامل
در هسته اصلی خود، Lucene از یک نمای معکوس (Inverted Index) برای نگاشت محتوا به اسناد استفاده میکند. برخلاف پایگاههای داده سنتی که دادهها را سطر به سطر ذخیره میکنند، موتورهای جستجو توکنها را نمایه میکنند. این امر جستجوها را برای واژگان در میان میلیونها سند را به سرعت انجام میدهد.
قبل از جستجو، باید یک Analyzer را پیکربندی کنید. تحلیلگرها متن را به توکنها تجزیه کرده و عملیات حروف کوچک، حذف کلمات توقف (stop-words) و ریشهیابی (stemming) را اعمال میکنند. یک تحلیلگر به خوبی پیکربندی شده، پایه و اساس نتایج جستجوی مرتبط است.
مثال کد: پیکربندی یک تحلیلگر در جاوا
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.NIOFSDirectory;
Directory directory = NIOFSDirectory.open(new Path("path/to/index"));
// StandardAnalyzer پردازش توکنهای پایه و حروف کوچک را مدیریت میکند
Analyzer analyzer = new StandardAnalyzer();
IndexWriterConfig config = new IndexWriterConfig(analyzer);
IndexWriter writer = new IndexWriter(directory, config);
// افزودن یک سند
Document doc = new Document();
doc.add(new TextField("content", "Apache Solr is a search platform", Field.Store.YES));
writer.addDocument(doc);
writer.commit();ساخت رابط جستجو با Solr
در حالی که Lucene برای جستجوی تعبیهشده (Embedded) عالی است، Apache Solr یک API RESTful ارائه میدهد که آن را برای برنامههای سازمانی توزیعشده و مقیاس بزرگ ایدهآل میسازد. Solr به صورت پیشفرض مدیریت شاردینگ (Sharding)، تکثیر (Replication) و تعادل بار (Load Balancing) را بر عهده دارد.
اجرای یک کوئری
برای جستجو در Solr، معمولاً یک درخواست HTTP GET به نقطه پایانی کوئری ارسال میکنید. سینتکس کوئری از wildcardها، تطبیق عبارات و جستجوهای خاص فیلد پشتیبانی میکند.
# جستجوی پایه برای 'search platform' در فیلد content
GET /solr/my_collection/select?q=content:search+platform
# افزودن فیلترها برای بازههای زمانی و فستتها
GET /solr/my_collection/select?q=content:search&fq=date:[2023-01-01T00:00:00Z TO *]&facet=true&facet.field=categoryامتیازدهی مرتبطسازی و بهینهسازی
همه نتایج برابر نیستند. Lucene به صورت پیشفرض از الگوریتم BM25 (Best Match 25) برای رتبهبندی اسناد استفاده میکند. این الگوریتم به فراوانی واژگان، فراوانی معکوس سند و طول سند توجه میکند. با این حال، برای نیازهای سازمانی، اغلب نیاز به سفارشیسازی مرتبطسازی دارید.
میتوانید فیلدهای خاصی را با استفاده از عملگر ^ در کوئری خود یا با پیکربندی fieldBoost در اسکیمای خود تقویت کنید. برای مثال، عناوین معمولاً مرتبطتر از متن بدنه هستند، بنابراین باید امتیاز بالاتری داشته باشند.
q=title:Lucene^3 + description:Luceneاین کوئری اسنادی را که کلمه "Lucene" در عنوان آنها ظاهر میشود، در اولویت قرار میدهد و امتیاز آن را سه برابر میکند.
بهبود تجربه کاربری با جستجوی فستت (Faceted Search)
جستجوی فستت به کاربران اجازه میدهد نتایج را به صورت پویا پالایش کنند. به آمازون یا ایربیانبی فکر کنید: فیلترهایی برای قیمت، برند یا مکان، فستتها هستند. Solr این شمارشها را به صورت بلادرنگ در طول درخواست جستجو محاسبه میکند و به کوئریهای پایگاه داده ثانویه نیاز ندارد.
برای فعالسازی فستتها، پارامترها را به کوئری Solr خود اضافه کنید. Solr از انواع مختلف فستت پشتیبانی میکند، از جمله:
- فستتهای فیلدی: شمارش موارد مقادیر منحصر به فرد در یک فیلد.
- فستتهای تاریخی: دستهبندی نتایج بر اساس بازههای زمانی.
- فستتهای کوئری: فیلترهای از پیش تعریف شده با نامهای سفارشی.
GET /solr/my_collection/select?q=*:*&facet=true&facet.field=brand&facet.field=price_rangeنتیجهگیری
پیادهسازی جستجوی متن کامل یک وظیفه پیچیده است، اما Apache Lucene و Solr بخش زیادی از کارهای سنگین را انتزاع میکنند. با درک استراتژیهای نمایهسازی، تنظیم دقیق تحلیلگرها و بهرهگیری از قابلیتهای فستت و امتیازدهی Solr، توسعهدهندگان میتوانند تجربههای جستجویی را بسازند که نه تنها سریع، بلکه به شدت مرتبط با کاربر هستند. چه در حال ساخت جستجوی یک وبلاگ کوچک باشید و چه یک پلتفرم تجارت الکترونیک عظیم، تسلط بر این ابزارها برای توسعه بکاند مدرن ضروری است.