Poissa esiintymisestä Rogers oli kuitenkin naimisissa muutaman kerran uransa huipulla. Ensin hän vannoi valan Lucile Ascolesen kanssa, joka oli hänen faninsa, vuonna 1933. Liitto ei kuitenkaan kestänyt, ja vuonna 1936 pari erosi. Samana vuonna Rogers kuitenkin avioitui Grace Arline Wilkinsin kanssa – myös adoptoi myöhemmin lapsen hänen kanssaan. Grace synnytti kaksi muuta lasta, mutta hän kuoli traagisesti komplikaatioihin synnytetyään pariskunnan pojan.