São definidos dois modos de operação para o IPSec: modo transporte e modo túnel.

Modo Transporte

    Este modo de operação, que pode ser considerado o mais simples, é utilizado principalmente para o estabelecimento de comunicações fim-a-fim seguras entre terminais da Internet. Pode ser visto como o envio de pacotes IP comuns, com os respectivos cabeçalhos de transporte e aplicação, porém seguros. Esta segurança pode envolver tanto autenticação quanto confidencialidade.

Figura 2: No modo transporte, o cabeçalho do IPSec (AH e/ou ESP)
é situado entre o cabeçalho IP e sua porção de dados.

    O modo transporte se baseia no encapsulamento dos protocolos das camadas superiores. Os cabeçalhos referentes ao AH e/ou ESP (os dois protocolos responsáveis por fornecer autenticação e encriptação) são adicionados após o cabeçalho da Camada de Transporte (TCP/UDP).

    Acrescido ao pacote após os cabeçalhos AH/ESP, o cabeçalho IP é mantido inalterado, possibilitando um roteamento na rede idêntico ao usual. Devido a este fato, apenas a porção de dados do pacote pode ser encriptada, provendo confidencialidade.

    Caso o pacote seja interceptado por terceiros, ainda que os dados enviados estejam criptografados, as informações contidas no cabeçalho IP (entre elas endereço de origem e destino) poderão ser acessadas. Todavia, como poderá ser visto nas seções posteriores, mesmo que a confidencialidade se restrinja à porção de dados nesse modo de operação, a integridade pode ser garantida para o pacote como um todo.

    Há outra constatação acerca deste tipo de operação: como, neste caso, os cabeçalhos AH e ESP precisam ser inseridos antes do IP durante o empacotamento da mensagem oriunda da Camada de Transporte, este modo está associado à opção de arquitetura integrada, descrita anteriormente.

Modo Túnel

    Muito utilizado atualmente para o estabelecimento de VPNs, o modo túnel encapsula completamente o pacote IP. Na frente do cabeçalho IP original, são adicionados os cabeçalhos IPSec e um novo cabeçalho IP, que permite a formação de um túnel. Desta forma, a segurança será sempre aplicada ao pacote original como um todo, e não apenas à porção de dados.

Figura 3: No modo túnel, o pacote IP recebe
um cabeçalho IPSec e um novo cabeçalho IP.

    O novo cabeçalho IP é utilizado no roteamento do pacote através da Internet. Chegando a seu destino, ocorrerá primeiramente a verificação da autenticação e/ou a desencriptação do restante do pacote. No caso de as informações estarem corretas, os cabeçalhos AH e ESP são removidos e o pacote IP original é reconstituído. De acordo com o endereço de destino original, o pacote pode ser entregue à máquina local ou roteado novamente na rede. Se for roteado novamente, não estará mais sob a proteção do IPSec.

    Tipicamente, o modo túnel é utilizado quando ao menos um dos pontos da comunicação está atrás de um gateway de segurança, que pode ser um roteador ou firewall que implemente o IPSec. Cria-se um túnel seguro através de uma rede pública não segura (como a Internet atual). É este o princípio das VPNs.

    Como os cabeçalhos IPSec são acrescidos após o IP ter processado as mensagens das camadas superiores, este modo de operação está associado, em geral, às outras duas formas de implementação, BITS e BITW.

    Alguns artigos defendem a existência de apenas um modo de operação, seja devido a questões de segurança, seja devido à complexidade do IPSec. Em [4], é sugerida a existência apenas do modo transporte, definindo um mecanismo alternativo para a criação de túneis, intitulado IIPtran. Já em [6], são analisadas diversas formas de simplificar o IPSec. Entre elas, está (em contraste com o outro artigo) a eliminação do modo transporte e do AH. As comunicações seriam realizadas apenas no modo túnel, utilizando o ESP para encriptação e autenticação.