O que é?
Os operadores bit-a-bit ativam ou desativam bits específicos dentro de um inteiro. Ele também pode ser usando com strings, mas nesse caso esses operadores irão trabalhar nos valores ASCII dos caracteres.

Um pouco de matemática e lógica
Todos nós sabemos (ou deveríamos saber) que os caracteres ASCII são todos formados com 1(um) byte que é o mesmo que 8 bits e que bit só pode ter 2 (dois) valores, sendo eles zero e um.

Veja agora a tabela dos números de 0 a 16 como são em sua representação binária
0 = 0 0 0 0 0 0 0 0
1 = 0 0 0 0 0 0 0 1
2 = 0 0 0 0 0 0 1 0
3 = 0 0 0 0 0 0 1 1
4 = 0 0 0 0 0 1 0 0
5 = 0 0 0 0 0 1 0 1
6 = 0 0 0 0 0 1 1 0
7 = 0 0 0 0 0 1 1 1
8 = 0 0 0 0 1 0 0 0
9 = 0 0 0 0 1 0 0 1
10= 0 0 0 0 1 0 1 0
11= 0 0 0 0 1 0 1 1
12= 0 0 0 0 1 1 0 0
13= 0 0 0 0 1 1 0 1
14= 0 0 0 0 1 1 1 0
15= 0 0 0 0 1 1 1 1
16= 0 0 0 1 0 0 0 0

Repare nos numeros 2,4,8 e 16. Cada um está 1 bit deslocado a esquerda de seu antecessor (10, 100, 1000).
Isso é uma característica dos números que são potência de 2.
2^1=10, 2^2=100, 2^3=1000, 2^4=10000
E como seria, sem olhar em tabela alguma, 2^6 ??
Para responder com rapidez a isso basta ver que a potência é igual ao número zeros a direita ou dizendo de forma mais correta conceitualmente, de posições do deslocamento para a esquerda.
2^6 = 1000000 (1 seguido de 6 zeros ou 1 bit ativo deslocado 6 posições a esquerda) que é igual a 64

Outra coisa que podemos reparar é que o todo número que possui o último bit ativo é um número ímpar (Está aí uma forma bem simples de saber se um número é par ou ímpar, mesmo de números grandes a um custo baixo).

Note também que sempre que há deslocamento em um bit a esquerda dobramos o valor.
Ex.:
3 = 0 0 0 0 0 0 1 1
deslocando-se 1 bit para a esquerda teremos
0 0 0 0 0 1 1 0 que é igual a 6.
O mesmo pode ser visto em 5 e 10, 6 e 12 e em 7 e 14.