Continuação do post de ontem:
Já não faltava tudo...(15!- x *5!*10!)/15!
Falta a contagem x, nos casos favoráveis.
Repara que entre os dez livros não matemáticos existem nove espaços, mais um antes e outro após... num total de 11 espaços.

_1_2_3_4_5_6_7_8_9_10_

Os cinco livros de matemática podem ocupar cinco desses onze lugares. Como a questão da ordem já está prevista noutra parte da resolução temos x=11nCr5=462.
A probabilidade pedida é 11/13
cool