Отец Уэнтуорта адвокат — афроамериканец, имеющий ямайские, сомалийские, немецко-еврейские, индейские (чероки) и британские корни, а мать, школьная учительница, — русские, французские, сирийские, голландские и ливанские.
Отец Миллера учился в Оксфорде во время рождения его сына. Его семья переехала в Парк Слоуп, Бруклин, Нью-Йорк.
Маленький актёрский дебют Миллера состоялся ещё в детском садике. Дети и родители должны были сами сделать костюмы динозавров для участия на сцене. Отец Миллера, обойдя все готовые модели, смастерил огромную голову Ти-Рекса из бумаги. Публика была в полном восторге.
Миллер ходил в среднюю школу Мидвуд в Бруклине. Когда его подруга узнала о его происхождении, то обозвала мальчика «нигером» и велела «убираться на плантацию». В школе из-за общественного неравенства и расистских выходок к Миллеру прилипло прозвище «Вонючка» и преследовало его ещё долгие годы.
Перед поступлением в престижный Принстонский университет родители посоветовали сыну развесить в комнате фотографии его семейства, чтобы приехавшие к нему гости сразу все же поняли о его происхождении, а он избежал лишних объяснений.
Во время учёбы в колледже он занимался пением, а также путешествовал по миру, выступая с известной а капелла группой «The Princeton» Tigertones. Плохая репутация доставила ему немало трудностей во время первого года обучения в «Принстоне».
Сразу же после защиты дипломной работы, в которой Миллер сравнил структуру двух известных романов — «Джейн Эйр» и «Антуанетта», он неожиданно для родителей и друзей переехал в Лос-Анджелес, чтобы стать актёром.