Prema navodima pisca Slaviše Pavlovića, Dučić je imao tri velike ljubavi: Magu Živanović, Jovanku Jovanović i princezu Anđelu di Sulmone, koju je smatrao svojom najvećom ljubavlju. Njegova pisma otkrivaju snažne emocije, ali i ljubomoru, pa čak i kritike na račun partnerki.
Veza sa udatom glumicom Jovankom Jovanović izazvala je skandal 1910. godine, kada je njihova afera dospela u javnost i umalo ugrozila njegovu diplomatsku karijeru. Jovanka je bila majka dvoje dece, a treće dete – sin Jovica – bio je Dučićev. Ipak, pesnik se kasnije udaljio od njega, a Jovica je kasnije izvršio samoubistvo.
Dučićevi odnosi sa ženama često su bili turbulentni i obeleženi nesrećnim završecima, što su primetili i njegovi savremenici. Milan Kašanin ga opisuje kao pesnika ljubavi obojene tugom, koji o osećanjima piše tek nakon što prođu.
Posebnu pažnju izaziva i priča da je Dučić preoteo verenicu svom prijatelju Aleksi Šantiću. Kako je zapisao Miloš Crnjanski, Šantić se povukao iz te veze zbog prijateljstva, dok je Dučić kasnije takođe prekinuo odnos i otišao u diplomatiju.
Iako slavljen kao veliki liričar, Dučićev privatni život ostaje primer složene i često kontradiktorne ličnosti.
