Ya en la temprana adolescencia estaba suficientemente familiarizado con las tareas de los colonos como para cultivar tabaco y almacenar las uvas. En esa época, cuando tenía once años, murió su padre y pasó a la tutela de su hermanastro mayor, Lawrence, un hombre de buen carácter que, en cierta forma, fue su tutor. En su casa, George conoció un mundo más amplio y refinado, pues Lawrence estaba casado con Anne Fairfax, una de las grandes herederas de la región y acostumbraba codearse con la alta sociedad de Virginia.