אפאצ'י קפקא
 | |
אפאצ'י קפקא היא פלטפורמת תוכנה לעיבוד זרם נתונים (stream processing) קוד פתוח המפותחת במסגרת קרן התוכנה אפאצ'י ונכתבת בשפות Scala ו-Java. הפרויקט נועד לספק פלטפורמה מאוחדת, עם תפוקה גבוהה וזמני השהיה קצרים לטיפול בזרם נתונים בזמן אמת. שכבת האחסון היא בעצם "תור הודעות גדול ממדים בתבנית עיצוב יצרן-צרכן (Pub/Sub) עם ארכיטקטורה מבוזרת ניתנת להגדלה (scalable), הפועל כלוג (יומן מקוון) של טרנזאקציות"[1] ובכך מהווה תשתית יעילה עבור ארגונים גדולים לעיבוד נתונים. בנוסף, קפקא מתחבר למערכות חיצונית עבור ייבוא/ייצוא של נתונים באמצעות Kafka Connect ומגדיר לשימוש זרמי נתונים ("Kafka Streams") כספריית עיבוד נתונים בשפת Java.
עיצוב הפלטפורמה מושפע מאוד ממימושי Transaction log הקיימים במערכות DBMS.[2]
שימושים בתעשייה
להלן רשימה של ארגונים בולטים המשתמשים בקפקא:
קישורים חיצוניים
אתר האינטרנט הרשמי של אפאצ'י קפקא
אפאצ'י קפקא, ברשת החברתית אקס (טוויטר)
הערות שוליים
- ↑ Monitoring Kafka performance metrics, Datadog Engineering Blog, accessed 23 May 2016/
- ↑ The Log: What every software engineer should know about real-time data's unifying abstraction, LinkedIn Engineering Blog, accessed 5 May 2014
- ↑ "Exchange Market Data Streaming with Kafka". betsandbits.com. אורכב מ-המקור ב-2016-05-28.
- ↑ "OpenSOC: An Open Commitment to Security". Cisco blog.
- ↑ "More data, more data". אורכב מ-המקור ב-2018-10-21.
- ↑ "Conviva home page". Conviva. 2017-02-28. אורכב מ-המקור ב-2017-06-02.
- ↑ Doyung Yoon. "S2Graph : A Large-Scale Graph Database with HBase". אורכב מ-המקור ב-2016-03-09.
- ↑ "Kafka Usage in Ebay Communications Delivery Pipeline".
- ↑ "Cryptography and Protocols in Hyperledger Fabric" (PDF). בינואר 2017. אורכב מ-המקור (PDF) ב-2017-07-02.
{{cite web}}: (עזרה) - ↑ "Kafka at HubSpot: Critical Consumer Metrics". אורכב מ-המקור ב-2018-11-19.
- ↑ Cheolsoo Park and Ashwin Shankar. "Netflix: Integrating Spark at Petabyte Scale". אורכב מ-המקור ב-2016-03-04.
- ↑ Boerge Svingen. "Publishing with Apache Kafka at The New York Times". אורכב מ-המקור ב-2017-09-17.
- ↑ Shibi Sudhakaran of PayPal. "PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)". Couchbase.
- ↑ Boyang Chen Pinterest. "Pinterest:Using Kafka Streams API for predictive budgeting".
{{cite web}}:|author=has generic name (עזרה) - ↑ "Shopify - Sarama is a Go library for Apache Kafka".
- ↑ Josh Baer. "How Apache Drives Spotify's Music Recommendations". אורכב מ-המקור ב-2016-03-09.
- ↑ Patrick Hechinger. "CTOs to Know: Meet Ticketmaster's Jody Mulkey". אורכב מ-המקור ב-2018-10-21.
- ↑ "Stream Processing in Uber". InfoQ.
- ↑ "Apache Kafka for Item Setup". medium.com.
- ↑ "Streaming Messages from Kafka into Redshift in near Real-Time". Yelp. אורכב מ-המקור ב-2017-06-03.
- ↑ "Scaling Production data across Microservices @ Fiverr / Erik Ashepa". Youtube.
אפאצ'י קפקא37052440Q16235208