Mistral AI
| נתונים כלליים | |
|---|---|
| מייסדים | ארתור מנץ' |
| מוצרים עיקריים |
|
Mistral AI היא חברה צרפתית המוכרת ומפתחת מוצרי בינה מלאכותית. היא נוסדה באפריל 2023 על ידי עובדים קודמים של מטא ו־DeepMind.[1] החברה גייסה 385 מיליון אירו באוקטובר 2023[2] ובדצמבר 2023 היא הוערכה ביותר מ-2 מיליארד דולר.[3][4][5]
מוצרי החברה כוללים מודלי שפה גדולים בקוד פתוח.[6][7]
החל ממרץ 2024, שני דגמים של מודלי החברה פורסמו וזמינים.[8] שלושה דגמים נוספים, Small, Medium ו-Larg, זמינים באמצעות API בלבד.[9][10]
היסטוריה
Mistral AI נוסדה באפריל 2023 על ידי ארתור מנש, גיום למפל וטימותי לקראוה. לפני שהקים את Mistral AI, ארתור מנש עבד ב־DeepMind, מעבדת הבינה המלאכותית של גוגל, בעוד גיום למפל וטימות'י לקראוה עבדו במטא.[11]
ביוני 2023, הסטארט-אפ ביצע גיוס כספים ראשון בסך 105 מיליון אירו עם משקיעים כולל הקרן האמריקאית Lightspeed Venture Partners, אריק שמידט, חאבייר ניאל ו-JCDecaux. הערכת השווי הוערכה אז על ידי הפייננשל טיימס ב-240 מיליון אירו.
ב-27 בספטמבר 2023, החברה הפכה את מודל עיבוד השפה שלה "Mistral 7B" לזמין תחת רישיון Apache 2.0 החינמי. במודל זה 7 מיליארד פרמטרים, והוא קטן משמעותית בהשוואה למתחרים.
ב-10 בדצמבר 2023, הודיעה Mistral AI כי גייסה עוד 385 מיליון אירו כחלק מהגיוס השני שלה. סבב מימון זה כולל בעיקר את הקרן הקליפורנית Andreessen Horowitz, BNP פריבה וחברת סיילספורס.[12]
ב-11 בדצמבר 2023, החברה פרסמה את דגם "Mixtral 8x7B" עם 46.7 מיליארד פרמטרים. הדגם שולט ב-5 שפות (צרפתית, ספרדית, איטלקית, אנגלית וגרמנית) וגובר בכמעט כל פרמטר, על פי מבחני המפתחים שלו, על דגם "LLaMa 2 70B" מבית מטא. מוצעת גם גרסה שהוכשרה לעקוב אחר ההוראות ונקראת "Mixtral 8x7B Instruct".[13]
ב-26 בפברואר 2024, מיקרוסופט הודיעה על שותפות חדשה עם החברה להרחבת נוכחותה בתעשיית הבינה המלאכותית המתפתחת במהירות. על פי ההסכם, דגמי השפה העשירים של מיסטרל יהיו זמינים בענן Microsoft Azure, בעוד שעוזר השיחה הרב לשוני "Le Chat" יושק בסגנון ChatGPT.[14]
מודלים
מודלי "משקל פתוח"
מיסטרל 7B
Mistral 7B הוא מודל שפה עם 7.3 מיליארד פרמטרים המשתמש בארכיטקטורת הטרנספורמר. הוא שוחרר רשמית ב-27 בספטמבר 2023, באמצעות קישור לביטורנט,[15] וב-Huging Face.[16] הדגם שוחרר תחת רישיון Apache 2.0. פוסט הבלוג של השחרור טען שהדגם מתעלה על LLaMA 2 13B בכל המדדים שנבדקו, והוא שווה ערך ל-LAMA 34B במדדים רבים שנבדקו.[17]
Mistral 7B משתמש בארכיטקטורה דומה ל-LLaMA, אך עם כמה שינויים במנגנון הקשב. במיוחד הוא משתמש בתשומת לב מקובצת (GQA) המיועדת להסקה מהירה יותר ובתשומת לב של חלון הזזה (SWA) שנועדה לטפל ברצפים ארוכים יותר.
Mixtral 8x7B
בדומה לדגם הראשון של מיסטרל, Mixtral 8x7B שוחרר דרך ביטורנט ב-9 בדצמבר 2023.[13]
הבדיקות של Mistral AI מראות שהדגם מנצח את ה-LLaMA 70B וגם את GPT-3.5 ברוב המדדים.[18]
במרץ 2024, מחקר שנערך על ידי Patronus AI שהשווה את הביצועים של מודלי שפה גדולים במבחן של 100 שאלות עם הנחיה להפקת טקסט מספרים המוגנים על פי חוק זכויות היוצרים האמריקאי מצא כי GPT-4 שלOpen AI, Mixtral, LLaMA-2 של Meta AI, ו-Claude2 של אנת'רופיק יצרו טקסט המוגן בזכויות יוצרים מילה במילה ב-44%, 22%, 10% ו-8% מהתגובות בהתאמה.[19][20]
דגמי API בלבד
שלא כמו Mistral 7B ו-Mixtral 8x7B, דגמי ה־API הם בקוד סגור וזמינים רק דרך ה-API של Mistral.[21]
מיסטרל לארג'
הושק ב-26 בפברואר 2024, ולטענת Mistral היא שנייה בעולם רק ל-GPT-4 של OpenAI.
הוא שולט באנגלית, צרפתית, ספרדית, גרמנית ואיטלקית, כאשר מיסטרל טוענת כי המודל מסוגל להבין דקדוק והקשר תרבותי כאחד, ומספק גם יכולות קידוד.
מיסטרל מדיום
Mistral Medium מאומן בשפות שונות כולל אנגלית, צרפתית, איטלקית, גרמנית, ספרדית וקוד עם ציון 8.6 ב-MT-Bench.[22] הוא מדורג בביצועים מעל קלוד ומתחת ל-GPT-4 במדד LMSys ELO Arena.[23]
מספר הפרמטרים והארכיטקטורה של מיסטרל מדיום אינה ידועה שכן מיסטרל לא פרסמה מידע ציבורי אודותיו.
מיסטרל סמול
כמו הדגם לארג', Small הושק ב-26 בפברואר 2024. זה נועד להיות דגם קל משקל נמוך, עם ביצועים טובים יותר מ־Mixtral 8x7B.[24]
הערות שוליים
- ^ "France's unicorn start-up Mistral AI embodies its artificial intelligence hopes" (באנגלית). Le Monde.fr. 2023-12-12. נבדק ב-2023-12-16.
- ^ Metz, Cade (10 בדצמבר 2023). "Mistral, French A.I. Start-Up, Is Valued at $2 Billion in Funding Round". The New York Times.
{{cite news}}: (עזרה) - ^ Fink, Charlie. "This Week In XR: Epic Triumphs Over Google, Mistral AI Raises $415 Million, $56.5 Million For Essential AI" (באנגלית). Forbes. נבדק ב-2023-12-16.
- ^ "A French AI start-up may have commenced an AI revolution, silently". Hindustan Times. 12 בדצמבר 2023.
{{cite web}}: (עזרה) - ^ "French AI start-up Mistral secures €2bn valuation". ft.com Financial Times.
- ^ "Buzzy Startup Just Dumps AI Model That Beats GPT-3.5 Into a Torrent Link" (באנגלית). Gizmodo. 2023-12-12. נבדק ב-2023-12-16.
- ^ "Bringing open AI models to the frontier" (באנגלית אמריקאית). Mistral AI. 27 בספטמבר 2023. נבדק ב-4 בינואר 2024.
{{cite web}}: (עזרה) - ^ "Open-weight models and Mistral AI Large Language Models" (באנגלית). docs.mistral.ai. נבדק ב-2024-01-04.
- ^ "Endpoints and Mistral AI Large Language Models" (באנגלית). docs.mistral.ai.
- ^ "Endpoints and benchmarks | Mistral AI Large Language Models". docs.mistral.ai (באנגלית). נבדק ב-2024-03-06.
- ^ "France's unicorn start-up Mistral AI embodies its artificial intelligence hopes". Le Monde.fr. 12 בדצמבר 2023.
{{cite news}}: (עזרה) - ^ "Mistral lève 385 M€ et devient une licorne française - le Monde Informatique". 11 בדצמבר 2023.
{{cite web}}: (עזרה) - ^ 13.0 13.1 "Mixtral of experts". mistral.ai (באנגלית אמריקאית). 2023-12-11. נבדק ב-2024-01-04.
- ^ Bableshwar (2024-02-26). "Mistral Large, Mistral AI's flagship LLM, debuts on Azure AI Models-as-a-Service" (באנגלית). techcommunity.microsoft.com. נבדק ב-2024-02-26.
- ^ Goldman, Sharon (2023-12-08). "Mistral AI bucks release trend by dropping torrent link to new open source LLM". VentureBeat (באנגלית אמריקאית). נבדק ב-2024-01-04.
- ^ Coldewey, Devin (27 בספטמבר 2023). "Mistral AI makes its first large language model free for everyone". TechCrunch. נבדק ב-4 בינואר 2024.
{{cite web}}: (עזרה) - ^ "Mistral 7B". mistral.ai (באנגלית אמריקאית). Mistral AI. 27 בספטמבר 2023. נבדק ב-4 בינואר 2024.
{{cite web}}: (עזרה) - ^ Franzen, Carl (2023-12-11). "Mistral shocks AI community as latest open source model eclipses GPT-3.5 performance". VentureBeat (באנגלית אמריקאית). נבדק ב-2024-01-04.
- ^ Field, Hayden (6 במרץ 2024). "Researchers tested leading AI models for copyright infringement using popular books, and GPT-4 performed worst". CNBC. נבדק ב-6 במרץ 2024.
{{cite news}}: (עזרה) - ^ "Introducing CopyrightCatcher, the first Copyright Detection API for LLMs". Patronus AI. 6 במרץ 2024. נבדק ב-6 במרץ 2024.
{{cite web}}: (עזרה) - ^ "Pricing and rate limits | Mistral AI Large Language Models". docs.mistral.ai (באנגלית). נבדק ב-2024-01-22.
- ^ AI, Mistral (2023-12-11). "La plateforme". mistral.ai (באנגלית אמריקאית). נבדק ב-2024-01-22.
- ^ "LMSys Chatbot Arena Leaderboard - a Hugging Face Space by lmsys". huggingface.co. נבדק ב-2024-01-22.
- ^ AI, Mistral (2024-02-26). "Au Large". mistral.ai (באנגלית אמריקאית). נבדק ב-2024-03-06.
