Nació en Boston el 19 de enero de 1809. Sus padres eran actores de teatro itinerantes, pero murieron siendo él niño, por lo que fue criado por John Allan, un hombre de negocios rico de Richmond (Virginia), que probablemente fue su padrino, cuando tenía seis años viajó con la familia Allan a Inglaterra, donde ingresó a un internado privado.