Dans ce poème pour névrosés complexés remplis de vices s’autoalimentant dans leurs complexes, Baudelaire, une fois n’est pas coutume, souffre, et ce dès les premiers vers : « chaque fleur s’évapore » (v.1) ; « valse mélancolique » (v.2). Cette profonde souffrance est due à une femme, surnommée la Présidente : Madame Sabatier. Il a pour habitude de dépeindre la femme tel un accès à l’idéal comme en témoignent les poèmes « Parfum exotique » ou « La chevelure » dans lesquels l’odeur de la femme aimée transporte le poète ailleurs, dans un monde plus exotique : l’idéal. Le motif de l’odorat est également présent dans « Harmonie du soir » avec l’utilisation du terme « encensoir » (v.5).
Hédoniste viscéral s’adonnant à une débauche presque perpétuelle, il voit la femme comme un personnage aux antipodes du sien, incarnant le calme, la tendresse ainsi que la douceur. C’est par ailleurs pour illustrer ces qualificatifs qu’il associe les motifs de la clarté et de la lumière à la femme aimée : « soleil » (v.12/15) ; « passé lumineux » (v.14). La femme serait ainsi pour lui un moyen de rester dans la « réalité » et de ne pas s’offrir totalement à divers vices et autres démons.
Cette femme, qui l’aide à rester dans la réalité n’est, ironiquement, plus dans celle-ci. En effet, cette dernière n’est présente que dans des souvenirs, représentés comme un passé qu’il regrette et revit avec nostalgie et mélancolie : « s’évapore » (v.2) ; « le ciel est triste » (v.8) ; « le soleil s’est noyé » (v.12) ; « ton souvenir en moi » (v.16). La femme, à la fois douce, sensuelle et spirituelle peut également être fatale et conduire le poète au Spleen.
Dans « Harmonie du soir », la femme est évoquée dans un souvenir. Nous en déduisons de facto que celle-ci est source de souffrance pour l’auteur : elle représente le Mal. Néanmoins cela n’empêche pas Baudelaire de continuer à la sublimer, tellement qu’il en arrive à sublimer la souffrance elle-même en la métamorphosant et la dépassant grâce à l’écriture. Il est encore attaché à celle qui aime et parvient à faire renaître le passé : « ton souvenir en moi luit comme un ostensoir » (v.16). Plus que sublimée ou idéalisée, la femme est divinisée comme en témoignent les comparaisons associant la femme aimée à des objets de culte chrétien : « chaque fleur s’évapore ainsi qu’un encensoir » (v.5) ; « ton souvenir en moi luit comme un ostensoir » (v.16). Au même titre que les motifs du soleil et le la lumière évoqués précédement, qui peuvent également être associés à une dimesion divine.