В труде историка Степаноса Орбеляна «История Сисаканского государства» поселение упоминается с XIII века. Однако руины и остатки старой циклопической крепости и церкви VIII века на территории города свидетельствуют о том, что поселение Джермук, расположенное рядом с источниками минеральной воды, существовало очень давно.

Раньше Джермук был армянским селом Джермук. Позже оно было разрушено иностранцами, и на его месте построили новое село, которое перевели как Истису. В 1924 году оно было переименовано в Джермук.

В состав города также входит деревня Кечут, расположенная в 3 километрах к юго-западу. В 2016 году, согласно Закону Республики Армения «Об административно-территориальном делении», села Гндеваз, Гергер и Кармрашен были присоединены к городскому муниципалитету Джермук.

В устье притока, впадающего в реку Арпа, появился минеральный водопад высотой в несколько десятков метров. Особенно известен своими 36 целебными горячими источниками на правом и левом берегах реки Арпа, причем горячие источники имеют гидрокарбонатно-сульфатный состав. Также поблизости находятся воды типа нарзана, лечебные грязи, стекольное сырье (кварциты).

Целебные минеральные воды Джермука издавна использовались как простыми людьми, так и князьями Сюната для лечения различных заболеваний. Об этом свидетельствуют остатки бассейна, построенного в средние века, который был перестроен и отреставрирован в 1860-х годах царским священником Геворгом Ханагяном, а сам бассейн до сих пор в народе называют «Приставским гелем». Несмотря на богатое историческое прошлое, фундамент сегодняшнего нового города был заложен только в 1940 году, с завершением строительства первого санатория.

В последующие годы Джермук строился и развивался, создавались все возможности для активного отдыха, оздоровления и туризма как для населения, так и для отдыхающих.

Первый генеральный план Джермука был составлен в 1945 году архитектором П. Мсряном, в 1952 году архитектором П. Манукяном был составлен второй план, а в 1960-1962 годах он был пересмотрен, что положило начало новому этапу развития. Джермук. В 1975 году в ущелье Арпа был построен большой мост. Строительство моста позволило сосредоточить жилищное строительство на левом берегу долины для жителей двух микрорайонов. В 1980-х годах в городе проживало около 10 000 человек, имелась сеть санаториев и пансионатов примерно на 2 000 мест, со всей инфраструктурой и услугами для активного отдыха и лечения. В силу объективных причин с 1990-х годов резко активизировалась активная жизнь курортного города, который начал возрождаться с конца 1990-х годов.

Обнаруженные в Джермуке остатки старого бассейна доказывают, что люди пользовались горячими источниками еще в средние века. Старый бассейн был заселен во второй половине XIX века, когда Джермук стал частью Шарур-Даралагязи Ереванской области.