Apache Kafka, Apache Spark, Apache Flink, Apache Iceberg, Apache Airflow, Apache Superset, Apache Hadoop, Apache Hive, Apache HBase, Apache Cassandra, Apache Druid, Apache Pinot, Apache Beam, Apache NiFi, Apache Camel, Apache Camel K, Apache Tomcat, Apache HTTP Server, Apache Maven, Apache Ant, Apache Gradle plugins, Apache ActiveMQ, Apache Pulsar, Apache ZooKeeper, Apache Lucene, Apache Solr, Apache Tika, Apache Avro, Apache Parquet, Apache Arrow, Apache ORC, Apache Calcite, Apache Calcite Avatica, Apache ShardingSphere, Apache Dubbo, Apache Ignite, Apache Geode, Apache Storm, Apache Samza, Apache Kylin, Apache Knox, Apache Ranger, Apache Atlas, Apache Oozie, Apache DolphinScheduler, Apache Livy, Apache Phoenix, Apache Drill, Apache Impala, Apache Sqoop, Apache Tez, Apache Mahout, Apache OpenNLP, Apache MXNet, Apache JMeter, Apache Log4j, Apache Commons, Apache CXF, Apache Axis2, Apache Shiro, Apache Wicket, Apache Struts, Apache OFBiz, Apache Cordova, Apache PDFBox, Apache POI, Apache FOP, Apache Tapestry, Apache MINA, Apache Thrift, Apache Directory Server, Apache Guacamole
28 posts
در چشم‌انداز به سرعت در حال تحول مهندسی داده، مدیریت پایپ‌لاین‌های پیچیده دیگر تنها به نوشتن کوئری‌های SQL یا اسکریپت‌های پایتون کارآمد محدود نمی‌شود. این موضوع به اورکستراسیون این اجزا در قالب جریان‌های کاری قابل اعتماد، مقیاس‌پذیر و قابل مشاهده است. Apache Airflow به عنوان استاندارد پیش‌فرض برای این منظور ظهور کرده است...
در چشم‌انداز سریعاً در حال تحول تصمیم‌گیری‌های داده‌محور، داشتن یک پلتفرم هوش تجاری (BI) قدرتمند، مقیاس‌پذیر و کاربرپسند دیگر یک تجمل نیست، بلکه یک ضرورت است. در میان گزینه‌های متن‌باز، آپاچی سوپرتست به عنوان یک قدرت‌نما ظهور کرده است...
برای سال‌ها، جامعه مهندسی داده با ملاحظات و تعادل‌های میان انبار داده و دریاچه داده دست‌وپنج نرم کرده است. انبارهای داده عملکرد پرس‌وجوی ساختاریافته ارائه می‌دادند اما انعطاف‌پذیری کمی داشتند، در حالی که دریاچه‌های داده مقیاس‌پذیری و صرفه‌جویی هزینه عظیمی داشتند اما با مشکلاتی مانند عدم قابلیت اطمینان، به‌ویژه در زمینه تغییرات طرح و سازگاری، روبرو بودند.
در منظر داده‌های مدرن، پردازش داده‌های بلادرنگ دیگر یک تجمل نیست، بلکه ضرورتی است. آپاچی کافکا به عنوان ستون فقرات معماری‌های مبتنی بر رویداد ظهور کرده است و به سیستم‌ها امکان می‌دهد از طریق جریان‌های رویداد با پهنای باند بالا و تحمل خطا، به صورت ناهمگام با یکدیگر ارتباط برقرار کنند. برای توسعه‌دهندگان متوسط تا پیشرفته...
در عرصه مهندسی داده‌های مدرن، فناوری‌های اندکی به اندازه آپاچی هادوپی بر این منظره تأثیر گذاشته‌اند. این سیستم سال‌هاست که به عنوان سنگ بنای پردازش داده‌های کلان عمل می‌کند و به سازمان‌ها امکان ذخیره و تحلیل پتابایت‌ها اطلاعات را در خوشه‌هایی از سخت‌افزارهای معمولی می‌دهد. اگرچه ابزارهای جدیدی مانند اسپارک و فلینک برای موارد استفاده خاص ظهور کرده‌اند، درک معماری بنیادین هادوپی همچنان برای هر توسعه‌دهنده‌ای که هدفش تسلط بر سیستم‌های توزیع‌شده است، حیاتی باقی می‌ماند. این پست سه ستون اصلی اکوسیستم هادوپی را بررسی می‌کند: HDFS، MapReduce و YARN.
در عرصه مهندسی داده و تحلیل‌های مدرن، ابزارهای کمی به اندازه آپاچی اسپارک صنعت را متحول کرده‌اند. اسپارک به عنوان یک موتور همه‌منظوره برای پردازش داده‌های مقیاس بزرگ طراحی شده و قابلیت‌های محاسبات در حافظه را ارائه می‌دهد که آن را به طور قابل توجهی سریع‌تر از روش‌های سنتی...
در منظره داده‌های مدرن، توانایی دریافت، مسیریابی و تبدیل داده‌ها به صورت بلادرنگ نه تنها یک لوکس، بلکه یک ضرورت تجاری است. در حالی که پردازش دسته‌ای دهه‌ها به ما خدمت کرده است، تغییر به سمت معماری‌های رویداد-محور نیازمند ابزاری است که بتواند جریان‌های داده با پهنای باند بالا و تأخیر کم را مدیریت کند...