Desearia tener mas tiempo a mi hijo.

Tengo una relación hace un tiempo donde ambos tenemos hijos.
Hace unos meses, decidimos irnos a vivir juntos. Ella está sola en Santiago, no tiene familia y el papá del niño nunca más apareció. En cambio yo, tengo familiares y la madre de mi hijo. El tema es que mi hijo pasa la mayor parte del tiempo con su mamá, por mutuo acuerdo (3 semanas con ella, 1 conmigo y la verdad es que me está molestando tener que ver más al hijo de mi pareja que al mío.

Yo sé que él no tiene la culpa y nunca he dicho nada, pero las últimas semana me ha provocado cierto malestar e incomodidad tener que verlo más a él que a mi hijo. Será normal sentir esto? Yo soy muy cariñoso y atento con mi hijo, cada vez que lo veo lo abrazo, lo agarro a besos y le recuerdo que lo amo. Pero la mayoría de los días no lo veo a él si no que al hijo de mi pareja.

A alguien le ha pasado lo mismo? Estaré muy mal yo? Consejos?