Alrededor de 1768 se casó con Christine, hija de un jefe Oneida, a quien había conocido en la escuela. Se casaron por el rito anglicano e indio y vivieron en una granja heredada por Joseph. Christine murió de tuberculosis en 1771 y a Joseph le quedaron dos hijos. En 1773, se casó con Susannah, hermana de su primera esposa, que murió unos meses después de la misma enfermedad.