O IPSec oferece dois modos de operação, transporte e túnel, a depender da seleção do usuário. Cada um desses modos também oferece suporte ao Authentication Header e Encapsulating Security Payloads, podendo utilizar ambos, e utilizam o Internet Key Exchange como protocolo de caminho entre os pares de uma determinada comunicação.
Modo de Transporte
O modo de transporte é o mais simples dos dois, consiste em, numa rede IPSec previamente estabelecida, mandar o pacote IP modificado a depender do protocolo de segurança escolhido. Neste caso, o IKE garante que ambos os pares de qualquer troca de informações estão devidamente assegurados.
Para uso com Authentication Header, o cabeçalho de segurança será inserido após o cabeçalho IP e antes de qualquer protocolo de camada maior (ex. TCP) ou outro cabeçalho IPSec.
Já para o uso com ESP, será criado um novo cabeçalho ESP, na mesma posição que o cabeçalho do AH, e teremos encriptação e garantia de integridade também estabelecidas modificando o payload para utilizar ESP e com adição de trailer ESP no cabeçalho.
Modo de Tunel
O modo de túnel consiste numa abordagem mais custosa ao colocar o pacote IP dentro de outro pacote IPSec, de modo a permitir a comunicação em redes não devidamente seguras. Aqui o IKE é responsável por manter a rede de comunicação do cabeçalho exterior ativa e segura, e os endereços dos pares IPSec na comunicação;
Este modo permite comunicação IPv6 sobre IPv4 ou o contrário, pois os pares do cabeçalho IP exterior independem do interior. O AH neste caso protegerá todo pacote IP interior, incluindo seu cabeçalho e payload, então este novo pacote AH será posicionado da mesma forma que no modo de transporte, isso é depois do cabeçalho IP exterior, para ambos protocolos de comunicação.
As mesmas características se aplicam ao uso com ESP, que protege todo o pacote IP desejado e manda sobre uma rede IPSec.
IP Security Protocol 