בסיוון תשל"ז נישא לנעמי, בת חיים דב רובינשטיין מחיפה. לאחר נישואיו התגורר מספר שנים בחיפה, שם כיהן כר"מ בישיבת אור שמחה. במקביל העביר שיעורים עיוניים בישיבת "בית ישראל" באשדוד. לאחר פטירת דודו, האדמו"ר רבי שמחה בונים אלתר, עבר להתגורר בירושלים בהוראת אביו. בתמוזתשנ"ג מינה אותו אביו לעמוד בראש ישיבת שפת אמת. עד שנת תשס"ג העביר שיעורים יומיים ושיעורים כלליים בישיבה. לאחר ששונתה שיטת הלימוד בישיבות גור מ"עיון" ל"בקיאות", מסר שיעורים בישיבת פוניבז' תקופה קצרה. דרך לימודו היא באופן חלקי בדרכו של החזון איש. בשנת תשע"ו נסגרה הישיבה שבראשה עמד[2], אך הוא עדיין מכונה "ראש ישיבת 'שפת אמת'".
בשנים ה'תש"ס - ה'תש"ע הוביל האדמו"ר הנוכחי לבית גור שינויים בחסידות, ובהם: שינוי אופי הלימוד בישיבות גור מ"עיון" ל"בקיאות". הרב אלתר מתח על המהלך ביקורת אידאולוגית - דבר הנחשב לתקדימי בחסידות גור, אשר ההתבטלות אל האדמו"ר וקבלת הוראותיו ללא עוררין היא מן המאפיינים הבולטים שלה.
תלמידיו הוציאו סדרת ספרים בשם "ילקוט שיעורים", המבוססת על שיעוריו על הש"ס. בשבט תשע"ג הוציאו תלמידיו ספר דרשות שלו, "עברא דדשא" (מנעול הדלת, ארמית). בשנת תשע"ה, לכבוד חתונת בתו הצעירה, הוציאו תלמידיו ספר ליקוט הערות וחידושים מכתביו על ספרים שונים, בשם "לצדדין קתני", וכן "עברא דדשא" חלק ב'.
לרב אלתר שני בנים ושתי בנות. בתו רותי קפלר[3] היא סופרת וכותבת בעיתון משפחה, בנו הרב אברהם מרדכי[4] מכהן כר"מ בישיבה גדולה "פני מנחם" שבראשות אביו, בנו יהודה אריה לייב הוא חתנו של הרב יחזקאל מאירזון, ראש ישיבת שערי תורה. חתנו הצעיר הוא הרב שמחה בונים שפירא מחבר סדרת הספרים פרי שמחה על סדר קדשים
חלק מחסידי גור ראו ברב אלתר את רבם, עוד קודם פרישתו הרשמית, ויש המתייחסים אליו כאל אדמו"ר. בקרב חסידיו הוא מכונה 'ראש הישיבה'.
תומכיו כונו בחסידות בכינויי גנאי[5], והממסד הצר את צעדיהם[דרוש מקור]. בשנת תש"פ סולקו כל תלמידי הרב אלתר ממוסדות גור.
עזיבתו של הרב אלתר וסילוקם של תלמידיו החלה ביולי2019 לאחר שהרב אלתר והרב מנחם מנדל שפרן כתבו במכתב שיש לעסקן דוד ברלינר מאמריקה זכות לתבוע בדין תורה עניין שבמחלוקת בינו לבין החסידות[6] בענין הקעמפ של החסידות באמריקה. מכתב זה נתפס בקרב הזרם המרכזי בחסידות כחתירה נגד סמכות האדמו"ר והדבר הוביל להחרפת המתיחות. בהמשך לא הוזמן הרב אלתר לחתונת נכדו של האדמו"ר מגור, מה שסומן ככוונה לדחוק אותו לעזוב את החצר.
בסוכות תש"פ (אוקטובר 2019), לאחר ניסיון פיוס שכשל בינו ובין חסידות גור[7], הודיעו אנשי הרב אלתר על קיום תפילות נפרדות בחג בבית הכנסת של ישיבת "רמ"א" שנשכר לצורך כך. כתגובה, בבתי הכנסת של גור הוכרז כי מי שישתתף בפעילות אנשיו "מנתק את עצמו" מכל מוסדות החסידות. במהלך החג השתתפו מאות מחסידי גור בתפילות ובהקפות הנפרדות[8]. כחודשיים לאחר מכן הכריזו בבתי המדרש של חסידות גור על איסור להשתתף בשמחות של תלמידי הרב אלתר מלבד קרובי משפחה בדרגה ראשונה, וכן על איסור להזמינם לשמחות ולאירועים משפחתיים[9][10].
הרב אלתר שם דגש על לימוד עיון ועל מסירת שיעורים בעיון, כפי שהיה נהוג בחסידות גור עד תשס"א. חסידיו טוענים[דרוש מקור] כי לדעתו הנהגה זו היא המשך המסורת בחסידות גור הנהוגה בדורות קודמים, תוך שהוא מסתמך על היכרותו האישית עם אדמו"רי גור בעבר שסברו כמוהו בעניינים אלו.
כהוכחה לכך מביאים חסידיו[דרוש מקור] מכתב שכתב דודו הלב שמחה[13] שבו הוא מודה לרבי יצחק פלקסר שהתחיל למסור שיעורים בישיבת שפת אמת, וכתב שכן דעתו שצריך להנהיג שיעורים בישיבות[14]. מאידך חסידי גור טוענים[דרוש מקור] שעפ"י המקובל אצל חסידים בכלל ובגור בפרט [15] כל אדמו"ר מתקן תקנות ומנהיג הנהגות עפ"י הנצרך לדורו.
ערך מורחב – מוסדות פני מנחם
אלי ביתאן, זמן שאול: מה עומד מאחורי רעידת האדמה בחסידות גור, בעיתון מקור ראשון, 25 באוקטובר 2019