אפאצ'י קפקא
 | |
אפאצ'י קפקא היא פלטפורמת תוכנה לעיבוד זרם נתונים (stream processing) קוד פתוח המפותחת במסגרת קרן התוכנה אפאצ'י ונכתבת בשפות Scala ו-Java. הפרויקט נועד לספק פלטפורמה מאוחדת, עם תפוקה גבוהה וזמני השהיה קצרים לטיפול בזרם נתונים בזמן אמת. שכבת האחסון היא בעצם "תור הודעות גדול ממדים בתבנית עיצוב יצרן-צרכן (Pub/Sub) עם ארכיטקטורה מבוזרת ניתנת להגדלה (scalable), הפועל כלוג (יומן מקוון) של טרנזאקציות"[1] ובכך מהווה תשתית יעילה עבור ארגונים גדולים לעיבוד נתונים. בנוסף, קפקא מתחבר למערכות חיצונית עבור ייבוא/ייצוא של נתונים באמצעות Kafka Connect ומגדיר לשימוש זרמי נתונים ("Kafka Streams") כספריית עיבוד נתונים בשפת Java.
עיצוב הפלטפורמה מושפע מאד ממימושי Transaction log הקיימים במערכות DBMS.[2]
שימושים בתעשייה
להלן רשימה של ארגונים בולטים המשתמשים בקפקא:
שגיאות פרמטריות בתבנית:טורים
פרמטרים [ מספר ] לא מופיעים בהגדרת התבנית
הערות שוליים
- ↑ Monitoring Kafka performance metrics, Datadog Engineering Blog, accessed 23 May 2016/
- ↑ The Log: What every software engineer should know about real-time data's unifying abstraction, LinkedIn Engineering Blog, accessed 5 May 2014
- ↑ "Exchange Market Data Streaming with Kafka". betsandbits.com. אורכב מ-המקור ב-2016-05-28.
{{cite web}}: פרמטר לא ידוע|deadurl=(הצעה:|url-status=) (עזרה) - ↑ "OpenSOC: An Open Commitment to Security". Cisco blog. נבדק ב-2016-02-03.
- ↑ "More data, more data".
- ↑ "Conviva home page". Conviva. 2017-02-28. נבדק ב-2017-05-16.
- ↑ Doyung Yoon. "S2Graph : A Large-Scale Graph Database with HBase".
- ↑ "Kafka Usage in Ebay Communications Delivery Pipeline".
- ↑ "Cryptography and Protocols in Hyperledger Fabric" (PDF). בינואר 2017. נבדק ב-2017-05-05.
{{cite web}}: (עזרה) - ↑ "Kafka at HubSpot: Critical Consumer Metrics".
- ↑ Cheolsoo Park and Ashwin Shankar. "Netflix: Integrating Spark at Petabyte Scale".
- ↑ Boerge Svingen. "Publishing with Apache Kafka at The New York Times". נבדק ב-2017-09-19.
- ↑ Shibi Sudhakaran of PayPal. "PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)". Couchbase. נבדק ב-2016-02-03.
- ↑ Boyang Chen Pinterest. "Pinterest:Using Kafka Streams API for predictive budgeting". נבדק ב-2018-02-21.
{{cite web}}:|author=has generic name (עזרה) - ↑ "Shopify - Sarama is a Go library for Apache Kafka".
- ↑ Josh Baer. "How Apache Drives Spotify's Music Recommendations".
- ↑ Patrick Hechinger. "CTOs to Know: Meet Ticketmaster's Jody Mulkey".
- ↑ "Stream Processing in Uber". InfoQ. נבדק ב-2015-12-06.
- ↑ "Apache Kafka for Item Setup". medium.com. נבדק ב-2017-06-12.
{{cite web}}: תבנית ציטוט כוללת פרמטר ריק לא ידוע:|1=(עזרה) - ↑ "Streaming Messages from Kafka into Redshift in near Real-Time". Yelp. נבדק ב-2017-07-19.
{{cite web}}: תבנית ציטוט כוללת פרמטר ריק לא ידוע:|1=(עזרה)
שגיאות פרמטריות בתבנית:מיון ויקיפדיה
שימוש בפרמטרים מיושנים [ דרגה ] אפאצ'י קפקא22592168