La familia Ball crió en total ocho hijos, Joseph D. Ball, su segundo hijo, nació el 7 de enero de 1896. La niñez de Joe fue normal, pero era un niño de carácter retraído que disfrutaba más de la pesca y largas excursiones en solitario, que de actividades con otros chicos. Siendo ya un adolescente adquirió pasión por las pistolas y solía pasar largas horas practicando el tiro, se sabe que llegó a ser un tirador muy habilidoso.