Debo escribir «¡qué alegría!» o «¡que alegría!»
La respuesta correcta es: «¡qué alegría!» Sí, con tilde. Esa que sueles comerte.
«Qué» es un adjetivo exclamativo: en este caso modifica al sustantivo «alegría» y expresa un sentimiento de intensidad o sorpresa. Al ser un adjetivo exclamativo, siempre lleva tilde.
Los signos de exclamación: Encierran toda la frase exclamativa, indicando que se expresa una emoción intensa.

Se escribe con mayúscula si inicia párrafo o está precedida de un punto; recuerda la mayúscula no se usa para exaltar emociones, tiene sus normas de uso.
Si quieres tu manuscrito sin errores ortotipográficos y/o de estilo, pide presupuesto: Sí quiero corregir mi escrito.