Para fazer a esponja, aqueça uma tigela pequena enxaguando-a com água quente. Despeje a água morna e polvilhe 1 pacote de fermento sobre ela. Deixe descansar até que o fermento tenha dissolvido. Misture 1/2 xícara de farinha, cubra com filme plástico e deixe descansar por 30 minutos, ou até dobrar de volume.

Polvilhe o fermento restante sobre o leite morno. Deixe descansar até dissolver. Bata junto o açúcar, os ovos, as gemas e a baunilha. Adicione a mistura de leite e fermento. Junte a esponja e misture bem até incorporar tudo.

Combine a manteiga e as 3 ½ xícaras de farinha restantes até ficar esfarelado. Despeje lentamente a mistura de ovos e bata em velocidade alta por 3 a 4 minutos, até que a massa esteja elástica e forme longos fios. Adicione as frutas e as raspas.

Coloque a massa em uma tigela untada com óleo, cubra com filme plástico e deixe crescer em um lugar quente até dobrar de volume, cerca de 2 a 3 horas.

Pincele o interior de três moldes de papel para panetone (7 x 4 polegadas) com manteiga derretida. Transfira a massa para uma superfície levemente enfarinhada e amasse algumas vezes para desinflar. Divida a massa em 3 partes. Enrole cada parte em uma bola e coloque nos moldes preparados; disponha-os em uma assadeira cerca de 10 cm separados uns dos outros e cubra levemente com filme plástico. Deixe crescer em um lugar quente até dobrar novamente, cerca de 2 horas.

Pré-aqueça o forno a 200 graus C (400 graus F). Corte um X no topo de cada pão com tesouras untadas. Combine a gema de ovo com o creme. Pincele levemente o topo dos pães com a mistura de gema.