En junio de 1980, Manuel Irigoyen presentaba a Milosevic, alabando que éste hubiera rechazado ofertas de mayor calado económico.
En su primer año en el banquillo de Carranza, el yugoslavo consiguió el histórico ascenso de Elche, segundo del club amarillo a la máxima categoría.
En la siguiente temporada, pese a poner todos sus esfuerzos por ello, no pudo conseguir la permanencia. Pese a ello, el máximo mandatario cadista siguió confiando en Milosevic. Gran acierto por su parte, ya que en su tercer año en Cádiz, firmaba su segundo ascenso, este mucho más duradero. El balcánico fue el primer entrenador que tuvo la suerte de contar con Mágico González en su equipo.
La temporada 83/84 fue la última de Milosevic en el Cádiz, en su primera etapa. El equipo amarillo no salía del pozo de la clasificación, y finalmente Irigoyen decidió cesarle.
El serbio regresaría a Carranza en la 86/87, sustituyendo a Manolo Cardo en el puesto. Lamentablemente, no pudo enderezar la nave cadista, y no terminaría la temporada. Algo que no mancha su excelente expediente al frente del Cádiz.
El Cádiz CF, en nombre de toda la afición e instituciones, da el pésame a la familia del ex-entrenador.
