Recuperar días feriados

Mi contrato es tres días a la semana (no es trabajo completo) y mi jefe al principio me dijo que si tengo otro trabajo puedo cambiar algunos días siempre y cuando recuperar las horas que falte, lo cual he hecho sin problema y agradezco esa flexibilidad.

Sin embargo quiere que recuperar los días lunes que son feriados...

¿Es legal si tengo contrato que especifica los días?