Cara, esse sentimento é normal e me remete a um certo senso de responsabilidade quanto à posição que você ocupa atualmente, portanto não se culpe. Já passei por algo parecido e fui bem objetivo com o gestor sobre uma oportunidade melhor, e ele foi muito compreensivo, mas não temos controle sobre a reação do outro. O conselho é simples, se VOCÊ não correr atrás do que quer ou se sacrificar por isso, nunca chegará lá.