Jõhvi rajoon moodustati Jõhvimaast 26. septembril 1950 vastu võetud seadusega.

1. oktoobril 1950 jõustus Eesti NSV-s uus administratiiv-territoriaalne jaotus, mis vastas NSV Liidus kehtivale. Uue korraga kaotati kõik maakonnad ja vallad ning kehtestati uuesti kaheastmeline halduskorraldus, mis oli 1945 külanõukogude moodustamisega muudetud kolmeastmeliseks.

Jõhvimaa likvideeriti, selle alal moodustati Jõhvi ja Kiviõli rajoon ning Narva linnapiirkond, osa alasid anti Mustvee rajoonile. Maakondliku alluvusega Jõhvi linn muudeti rajoonilise alluvusega linnaks.

Jõhvi rajooni keskus oli Jõhvi linn, lisaks oli rajoonis Kohtla-Järve vabariikliku alluvusega linn, Ahtme, Sompa ja Viivikonna alev ning 21 külanõukogu.

Eesti NSV Ülemnõukogu Presiidiumi otsusega 17. juunist 1954 toimus suur külanõukogude ühendamine seoses kolhooside ja sovhooside liitmisega.

1959 likvideeriti Kiviõli rajoon ning selle alal moodustati Kohtla-Järve linnapiirkond, millega liideti Kiviõli linn ning Kohtla ja Kukruse alev. Piir Jõhvi rajooniga nihutati Kukruse mõisa joonele. Samal ajal vähendati Narva linnapiirkonna maa-ala Jõhvi rajooni kasuks.

14. oktoobril 1960 moodustati põlevikivitööstuspiirkonna ühtne halduskeskus keskusega Kohtla-Järvel. Selle käigus likvideeriti eraldi Jõhvi ja Ahtme linn ning Sompa alev, mis liideti Kohtla-Järve linnaga. Rajooni valitsemisorganid jäid Jõhvisse.

1961. aastal allutati Jõhvi rajoon Kohtla-Järve linnapiirkonnale ja likvideeriti sellega.