Բնակավայրը հիշատակվում է սկսած XIII դարից՝ պատմիչ Ստեփանոս Օրբելյանի «Պատմություն Նահանգին Սիսական» աշխատության մեջ։ Սակայն քաղաքի տարածքում գտնվող հին կիկլոպյան ամրոցի և VIII դարի եկեղեցու ավերակներն ու մնացորդները խոսում են այն մասին, որ հանքային ջրերի ակունքների մոտ գտնվող Ջերմուկ բնակավայրը գոյություն է ունեցել շատ վաղուց։

Ջերմուկի տեղում նախկինում եղել է հայկական Ջերմուկ գյուղը: Հետագայում այն օտարեկրացիների կողմից ավերվել է և նրա փոխարեն նոր գյուղ են կառուցել, որը թարգմանաբար կոչել են Իստիսու: Ջերմուկ է վերանվանվել 1924 թվականին։

Քաղաքին է պատկանում նաև 3 կմ հարավ-արևմուտքում գտնվող Կեչուտ գյուղը։ 2016 թվականին «Վարչատարածքային բաժանման մասին» Հայաստանի Հանրապետության օրենքով Ջերմուկ քաղաքային համայնքին են միավորվել նաև Գնդեվազ, Հերհեր  և Կարմրաշեն գյուղերը:

Արփայի մեջ թափվող վտակի գետաբերանի մոտ առաջացել է մի քանի տասնյակ մետր բարձրության հանքային ջրվեժ: Հայտնի է հատկապես Արփայի աջ և ձախ ափերին գտնվող՝ թվով 36 բուժիչ տաք աղբյուրներով՝ ջերմուկներով, որոնք ունեն հիդրոկարբոնատա-սուլֆատային բաղադրություն։ Շրջակայքում կան նաև “Նարզան” տիպի ջուր, բուժիչ ցեխ, ապակու հումք (կվարցիտներ)։

Ջերմուկի կազդուրիչ հանքային ջրերը դեռ շատ հնուց օգտագործվել են ինչպես հասարակ ժողովրդի, այնպես էլ Սյունաց Իշխանների կողմից՝ ամենատարբեր հիվանդությունների բուժման նպատակով։ Այդ մասին են վկայում միջնադարում կառուցված լողավազանի մնացորդները, որոնք վերակառուցվել և վերականգնվել են 1860-ական թվականներին ցարական պրիստավ Գևորգ Խանագյանի կողմից, և այժմ էլ ժողովրդի կողմից լողավազանը կոչվում է «Պրիստավի գյոլ»: Չնայած պատմական հարուստ անցյալին, այսօրվա նոր քաղաքի հիմքը դրվել է միայն 1940 թվականին՝ առաջին առողջարանի կառուցման ավարտով։

Հետագա տարիներին Ջերմուկը կառուցվել ու կառուցապատվել է, ստեղծվել են բոլոր հնարավորությունները ինչպես բնակչության, այնպես էլ հանգստացողների ակտիվ հանգստի, առողջության վերականգնման և զբոսաշրջության համար։

Ջերմուկի առաջին  գլխավոր հատակագիծը կազմվել է 1945 թվականին  ճարտարապետ Պ.Մսրյանի կողմից,1952 թվականին ՝ երկրորդը,որը կազմել է ճարտարապետ Փ.Մանուկյանի կողմից, իսկ վերամշակվել է 1960-1962 թվականներին, որով և սկսվել է Ջերմուկի կառուցապատման նոր փուլը:Արփայի կիրճի վրա 1975 թվականին կառուցված մեծ կամուրջը  , հնարավորություն է տվել բնակելի շինարարությունը  կենտրոնացնել ձորի ձախափնյակում ՝ երկու միկրոշրջանների բնակիչների համար:1967 թվականին քաղաքը ձեռք է բերում հանրապետական նշանակության քաղաքի, իսկ 1970 թվականին՝ համամիութենական նշանակության առողջարանի կարգավիճակ։ 1980-ականներին քաղաքն ուներ շուրջ 10 000 բնակիչ, շուրջ 2 000 մահճակալով առողջարանների ու պանսիոնատների ցանց՝ ակտիվ հանգստի և բուժման համար նախատեսված բոլոր ենթակառուցվածքներով ու ծառայություններով։ Օբյեկտիվ պատճառներով առողջարանային քաղաքի ակտիվ կյանքը 1990-ականներից մեծ տեղատվություն ապրեց, որը սկսեց աշխուժանալ 1990-ական թվերի վերջերից։

Ջերմուկում հայտանաբերված հին ավազանի մնացորդները վկայում են, որ միջին դարերում մարդիկ օգտվել են ջերմուկներից:Հին ավազանը կարգավորվել է 19-րդ դարի երկրորդ կեսերին,երբ Ջերմուկը մտավ Երևանի նահանգի Շարուր-Դարալագյազի գավառի մեջ: