Obwohl er erstaunliche Erfolge erzielte, war Borgs Karriere
nicht sehr lang. Mit sechsundzwanzig Jahren ging er 1983 in den Ruhestand, was die Tenniswelt schockierte. Viele vermuteten, dass er vorzeitig in den Ruhestand ging, und spekulierten über alles, vom Burnout bis zum Wunsch, anderen Interessen zu folgen. Aus welchen Gründen auch immer, Borgs Entscheidung, sich auf dem Höhepunkt seiner Karriere aus dem Sport zurückzuziehen, trug nur dazu bei, seine Aura zu verstärken.
Als Borg in den Ruhestand ging, hatte er eine Reihe persönlicher und finanzieller Schwierigkeiten. Zu den Enttäuschungen über seinen Einstieg ins Geschäft gehörte der Bankrott seiner Modefirma. Doch zu gegebener Zeit erlangte Borg wieder Stabilität und spielte weiterhin Tennis, wenn auch in einer neuen Rolle. Er nahm an Seniorentourneen und Shows teil, bei denen Fans die besten Momente seiner Karriere erleben konnten.
Tennis hat von Borg auf andere Weise profitiert als von seinen Erfolgen auf dem Platz. Insbesondere in Europa war er maßgeblich daran beteiligt, den Sport insgesamt bekannter zu machen. Eine Generation von Tennisspielern war von seinen Leistungen motiviert, und die anhaltende Vormachtstellung europäischer Spieler im Spiel ist ein Beweis für seinen Einfluss. Fans und andere Spieler bewunderten Borg beide für seinen ruhigen Kopf und seinen Sportsgeist, der einen Maßstab für professionelles Verhalten darstellte.