
Væk fra at udføre, selv om, Rogers blev gift et par gange i løbet af højden af sin karriere. Først afgav han løfter med Lucile Ascolese, en fan af hans, i 1933. Fagforeningen holdt dog ikke, og i 1936 blev parret skilt. Samme år giftede Rogers sig dog med Grace Arline Wilkins – også senere adopterede hun et barn med hende. Men mens Grace fødte to andre børn, døde hun tragisk af komplikationer efter fødslen af parrets søn.
