O problema é que assim vc dá todas as permissões para qualquer usuário, dependendo do arquivo/diretório é uma falha de segurança enorme.

Os números funcionam assim: r vale 4, w vale 2 e x vale 1. Então basta somar as permissões que vc quer colocar.

Por exemplo, se eu quiser dar permissão de leitura e escrita (r e w), basta somar 4 e 2, ou seja, 6. E aí vc coloca 3 números, o primeiro é para o usuário dono do arquivo, o segundo é para o grupo e o terceiro é para os outros usuários.

Por exemplo, chmod 640 arquivo dá permissão de leitura e escrita para o usuário, leitura para o grupo e nenhuma permissão para os demais.