הסיפור מתחיל ב-1932, כאשר הפסנתרנית הצעירה, יוכבד דוסטורבסקי, שבה לירושלים מוינה, שם סיימה את חוק לימודיה באקדמיה למוסיקה ולאמנות-הבמה ומקימה באוגוסט של אותה שנה בית ספר חדש "למוסיקה ולאמנות התנועה".
אחת ממשימותיה הראשונות של הגברת דוסטורבסקי-קופרניק הייתה קבלת תמיכה ואישור על כך שהמוסד נמצא "בפיקוח משרד החינוך". משרד זה אמנם הכיר באקדמיה כמוסד חינוכי ובכך העניק תנופה לצמיחתו, אך נדרשו 21 שנה עד שזכה המוסד להכרה מלאה כמוסד להשכלה גבוהה. נקודת המוצא של תכנית הלימוד, הייתה על פי דוסטורבסקי-קופרניק: "להכשיר מוסיקאי או מחולל משכיל, בעל ידיעות רחבות במקצועו, היודע לחשוב והמציב לעצמו אידיאלים וערכים שהוא חותר לקראתם".
הגב' דוסטורבסקי-קופרניק
הגברת דוסטורסקי-קופרניק, שהייתה בעלת נסיון רב בפעילות ציבורית (בין השאר תפקדה בעברה כמפקדת בהגנה ומפיקת תוכניות מוסיקליות לרדיו) הצליחה ברוב תושייתה להתגבר על קשיי ההקמה הרבים של האקדמיה. על פעילותה ומפעל חייה הוענק לה מאוחר יותר אות "יקיר ירושלים".
החדרים הראשונים לתלמידים נשכרו בבית ספר קיים (בית החינוך ע"ש ארלוזרוב) ומשהתרבו התלמידים שכרה האקדמיה גם את בניין שמידט ברחוב הלל (כיום ביה"ס "מעלה"). מקורם של כלי הנגינה הראשונים שהושכרו ע"י האקדמיה היה ברכוש נטוש. רעיון לימוד הנגינה בפסנתר בקבוצות, שהגתה המנהלת המוכשרת, סייע להגדיל את מספר התלמידים בעתות שפל כלכלי ואף הוכיח את עצמו בצד .הפדגוגי הודות לתחרות הטבעית שנוצרה בין התלמידים.
בניין האקדמיה והקונסרבטוריון הראשון ברחוב הלל
לאחר שמצוקת המקום שוב החריפה, נחלץ סמואל רובין, נשיא קרן "נורמן" (היום "קרן תרבות אמריקה-ישראל") לעזרת האקדמיה ותרם סכום גדול לרכישת וילה ברחוב סמולנסקין. המבנה עבר התאמה לצרכי האקדמיה ונחנך בשנת 1958 בהשתתפות ראש הממשלה הגב' גולדה מאיר, ראש העיר טדי קולק ונכבדים נוספים. במסגרת הטקס הוענק לאקדמיה שם חדש: האקדמיה למוסיקה על שם רובין בירושלים.
טקס הנחת אבן הפינה לאקדמיה על שם רובין ברחוב סמולנסקין בשנת 1958
בשנה זו ייסדה האקדמיה מסגרת ייחודית של לימודי קיץ, המארחת יוצרים ואמנים מכל העולם שבאים ללמד ולחלוק מנסיונם לתלמידים ולאמנים בישראל. מבין היוצרים הרבים והמפורסמים שזכתה האקדמיה לארח במסגרת זו נציין את מרתה גרהאם - "הכוהנת הגדולה של המחול", הפסנתרנית נדיה רייזנברג, הזמרת ג'ני טורל ועוד.
עוד נוסדה בשנה זו ספריית האקדמיה, אותה ניהל במשך 35 שנה מר קלוד אברבנאל. בשנים אלו אסף ספרים, כתבי יד, תווים, הוצאות ראשונות ופריטים נוספים מיוחדים ונדירים המצויים הן בספרייה והן בארכיון למוסיקה ישראלית, שנוסד בשנת 1988. אוסף התווים של הספרייה הוא כיום הגדול בארץ והיא כוללת גם חדר האזנה מצויד במכשור משוכלל.
כשיז'סטוף פנדרצקי עם פרופ' מרק קופיטמן וקלוד אברבנאל מייסד הספרייה
באותה שנה נוסד גם בית הספר התיכון במגמה מוסיקלית שמנהלו הראשון היה משה הילמן. הכוונה הייתה להפוך את המוסיקה והמחול לחלק אינטגרלי של העיסוק היומיומי במסגרת הלימודים הרגילה.
בראשית שנות ה-60 החלה הגב' יוכבד דוסטורבסקי-קופרניק לגבש אוסף ייחודי של כלי נגינה עממיים ואמנותיים, מתוך מטרה ליצור מוקד משיכה הן לתלמידים והן למבקרים מהארץ ומחו"ל. הכלים הגיעו הן מאוספים פרטיים, כגון זה של המנצח סרגי קוסביצקי, והן ממדינות שונות שנתבקשו ע"י משרד החוץ לקיים חליפין של כלי נגינה בינן לבין ישראל (כגון רומניה, גאנה, קולומביה, ניגריה ועוד).
בשנת 1963 התקיים בקמפוס האוניברסיטה העברית בגבעת רם כנס בינלאומי בנושא "מזרח ומערב במוסיקה", במהלכו הוצגה תערוכת כלי הנגינה להמחשת הקשר בין מזרח למערב. לאחר נעילת הכנס הושארה התערוכה באקדמיה והתפתחה במהרה למוזיאון קטן לכלי נגינה. המוזיאון שוכן היום בקומת הקרקע של האקדמיה למוסיקה והוא כולל כ-500 כלי נגינה הממויינים עפ"י ארץ מוצאם.
חלון תצוגה מתוך מוזיאון כלי הנגינה
מאז היווסדה, שמה האקדמיה דגש הן על היצירה האמנותית והן על החינוך וההוראה. ב-1980 בעקבות פנייה של הגב' מיכל זמורה-כהן, אז ראש האקדמיה אל שר החינוך והתרבות, מר זבולון המר, הגיעה לאקדמיה ועדת משנה של המועצה להשכלה גבוהה להתרשם מרמת הלימודים בחוג. בעקבות ביקור זה והדיונים שבאו לאחריו, קיבלה האקדמיה אישור להענקת תואר אקדמי של החוג להכשרת מורים.
בשנת 1985 עברה האקדמיה לקמפוס האוניברסיטה העברית בגבעת רם. האקדמיה מתפקדת אמנם כמוסד בלתי תלוי ואינה חלק מן האוניברסיטה העברית, אך קיים שיתוף פעולה אקדמי ביניהן, שבא לידי ביטוי בין היתר בהענקת תואר B.A. ותואר M.A.Mus משותפים לשני המוסדות. בשנת 2002 עברו גם התיכון המוסיקלי והקונסרבטוריון לצד האקדמיה, לבניין חדש שנתרם ע"י הזוג יונס וסוראיה נזריאן מלוס אנג'לס.
במהלך שנות קיומה ידעה האקדמיה פריחה והצלחה. בוגריה ממלאים את במות הקונצרטים בארץ ובעולם ותופסים עמדות מפתח במוקדי המדיניות המוסיקלית. מוריה עושים חיל ושמם חקוק באבן היסוד של חיי המוסיקה. אישי ציבור מהימנים ונאמנים הובילו אותה בדרכה והנהלה מסורה שמרה על איכות ההוראה לצד איזון כלכלי. כל אלו הציבו את האקדמיה בשורה הראשונה של העשייה האקדמית-אמנותית בארץ.