Tot i ser un jugador extraordinari, Rexach va passar la seva millor etapa blaugrana a la banqueta, acompanyant primer Luis Aragonés (1987/88) i, més tard, Johan Cruyff (1988-1996).
Amb el primer, el qual va substituir en algun partit, va guanyar la Copa del Rei de l’any 1988 davant la Reial Societat de Sant Sebastià (1-0), i amb Cruyff va aconseguir infinitat de títols, entre els quals destaquen les quatre Lligues consecutives i la preuada Copa d’Europa del 1992. A l’holandès també el va substituir, concretament durant la seva infortunada absència a causa de l’operació de cor a què va ser sotmès al febrer del 1991. Entre els partits que més bon record van deixar a l’aficionat barcelonista quan Rexach va dirigir circumstancialment l’equip destaca per damunt de tots el contundent 0-6 aconseguit a San Mamés davant l’Athletic Club. Més tard, l’any 1996, i en unes circumstàncies totalment diferents, Rexach va substituir Cruyff després que aquest fos destituït.
A finals de la temporada 2000/01 en Charly es va tornar a fer càrrec de l’equip després que la directiva decidís substituir l’entrenador que havia començat el curs, Llorenç Serra Ferrer. Aquell any va aconseguir classificar l’equip per disputar l’edició següent de la Lliga de Campions després de superar el València al Camp Nou a l’últim partit de Lliga, gràcies a un espectacular gol de xilena in extremis de Rivaldo. La temporada següent, la 2001/02, Carles Rexach va tornar a classificar l’equip entre els quatre primers de la Lliga i va quedar-se a les portes de disputar la final de la Lliga de Campions, després de l’eliminació a les semifinals contra el Reial Madrid.
Amb el començament de la segona etapa de Louis van Gaal (2002/03), Carles Rexach va deixar la seva responsabilitat al capdavant del primer equip i va convertir-se en el secretari tècnic del Club, càrrec que va abandonar el 30 de juny del 2003.
