La visitas familiares

Esto no tiene nada de laboral, pero siempre los leo y necesito el punto de vista de otras personas, ya que no sé, si es correcto mi sentir.

Estoy casado, tenemos una hija de más de un año, mis suegros viven a una hora y media a dos de distancia, en este tiempo jamás han visitado a mi hija, siempre argumentando que están viejos, que tomar dos buses para llegar es mucho y muchas excusas más, el problema es que mi señora no dice nada, más aún me exige llevarlas semanalmente a ver sus padres (ella no maneja) pero accedo máximo cada quince dias, los viernes llego cansado del trabajo y si me niego un fin de semama 'que corresponda ir' se que es drama, las veces que me he negado, la siguiente visita la niña al ver a su abuela llora y ella sale con frases como 'es que como me ve poco, ya no me reconoce' inicialmente eso me hacía sentir culpable, por no llevarlas mas seguido.

Quiero tenga contacto con sus abuelos, yo no tengo a mis padres, pero me enoja ya que la distancia es la misma de allá para acá y en serio ni cuando nació vinieron ellos a conocer a mi hija, nunca le tienen algún detallito, no quiero se entienda como interés, pero incluso mi esposa compra cosas diciendo es de los abuelos, pero es mentira, ni en eso se esfuerzan, siempre con el argumento 'estamos viejos' (70 y algo) sin ninguna enfermedad, incluso las típicas como hipertensión o diabetes, nada, personas totalmente sanas.

Soy malo si me niego a ir? La verdad no iria mas de una vez al mes, estoy cansado de lo mismo, pero mi señora siempre los justifica y me repite que la niña debe crecer cerca de sus abuelos, ya no se que hacer.