Joel fue hijo de una pareja de menores de edad, es por esto que lo cedieron en adopción, fue adoptado por Ben y Jeanne Rifkin a las tres semanas de edad, la pareja estuvo tan feliz con Joel que volvió a adoptar, pero en esta ocasión a una hija tres años después, Joel era un niño cariñoso e inteligente, compartía el mismo placer de su madre por la fotografía y por la artesanía, pero nunca tuvo amigos de su edad, en la escuela era objeto de bromas de sus compañeros, Joel se graduó de preparatoria en 1977, sin embargo, nunca fue bueno en la escuela, a pesar de que lo intentó. Durante los siguientes 12 años no pudo sostenerse en un trabajo, y mantenía una relación con una chica dulce, pero depresiva.