Mas só podemos fazer isso? Não tem nada a nível de conteúdo que podemos fazer?

Pergunto isso porque lembro de sites como o Stack Overflow, o Yahoo Respostas, o próprio YouTube entre outros, que para mim eles eram conhecidos e populares por causa do conteúdo produzido lá. Claro que tem o nível do código que tem um impacto significativo, mas o conteúdo que as pessoas botam lá não faz diferença no SEO?

Sim, tem toda a questão que você levantou também, claro eu não sou nenhum especialista, mas quando você faz pra um site, suas pagina tem que ter palavras chaves e estarem de forma clara. Buscar não ter texto tão longos etc...