A magyar futball kivételes egyénisége elsősorban edzőként alkotott maradandót, szinte az egész NBI-et segítette kiváló szakmai képességeivel. Irányította a Videotont, a Rába ETO-t, az MTK-t (ebben a klubban érdemelte ki a Mágus becenevet, mert a kiesés ellen küzdő csapatból egy év alatt bajnokot csinált), a Honvédot, a Vasast és a Diósgyőrt. 1987-ben lett először szövetségi kapitány, majd 1993 szeptembere és 1994 júniusa között ismét a nemzeti tizenegyet irányította.
A szakember egy ideje már súlyos beteg volt. Az otthonában, Pestszentlőrincen hunyt el. A halála napján a győri stadionnál mécseseket gyújtottak a mesteredzőre emlékező szurkolók.

Verebes József Ferencváros egyik legszegényebb részén nőtt fel, ahol a társaihoz hasonlóan a labdarúgás volt az egyetlen szórakozása. Együtt játszott Farkas Jánossal és Sipos Ferenccel, akik később válogatott labdarúgók lettek. 1952-ben Verebes az akkori Bp. Kinizsibe (FTC) igazolt, s 1961-ben három mérkőzésen az élvonalban is pályára lépett. 1962-ben eligazolt a Ferencvárostól és egy idényt az Oroszlányi Bányászban játszott. A következő évtől ismét a fővárosba igazolt, s 1964-ig a BVSC labdarúgója lett. Az 1965-66-os idényben a Ganz-Mávag, 1967 és 1970 között a Budafoki MTE csapatában szerepelt. Az aktív labdarúgást a Középítők csapatában fejezte be, 1971-ben.
Verebes Józsefet az MLSZ saját halottjának tekinti.