בין השנים 1957–1960 שימש כשגריר ישראל בבלגיה ובלוקסמבורג וכן כמשקיף קבוע של ישראל בשוק האירופי ובמוסדות האו"ם בז'נבה. בשנת 1967 נשלח לשרת כשגריר ישראל באו"ם. כעבור כשנה שב לישראל, ושימש מנכ"ל משרד החוץ בין השנים 1967–1972. בעת מלחמת יום כיפור התנדב לצה"ל ושירת כחייל מן השורה ברמת הגולן. עוד בשנת 1973, לאחר תום מלחמת יום כיפור, נשלח לשרת כשגריר ישראל בבריטניה, והחזיק בתפקיד זה עד לשנת 1977. הלורדג'ורג' ויידנפלד, מראשי הקהילה היהודית באנגליה, העריך כי רפאל היה אחד השגרירים המוצלחים ביותר של ישראל במדינה זו.[4]
בשנת 1978 פרש משירות החוץ.