O que significam os conceitos autenticação, confidencialidade e integridade?

Autenticação -  garantia de que uma entidade é, de fato, quem afirma ser;
confidencialidade - garantia de que apenas as entidades autorizadas terão acesso à informação;
integridade - garantia de que a informação foi preservada.

Por que o Authentication Header não provê assinatura quando uma chave secreta é utilizada?

Como a chave é conhecida por ao menos 2 pessoas, a mensagem pode ser forjada.
Neste caso, o AH não garante o não-repúdio.

O serviço de autenticação do Encapsulating Security Payload não inclui o cabeçalho IP.
O endereço de origem do pacote pode ser alterado?
Como pode ser garantida a autenticação nesse caso?

Sim, o endereço de origem e outros campos do cabeçalho IP podem ser alterados.
Ainda assim, a autenticação do restante do pacote garante que este veio de uma pessoa que conhece a chave de autenticação.

Alguns autores defendem a existência apenas do modo túnel, com autenticação e encriptação do ESP.
Como o modo transporte e o AH podem ser substituídos?

Um endereço de destino no novo cabeçalho IP igual ao original fará com que o pacote chegue ao destino da mesma forma.
O pacote no modo transporte é menor. É possível realizar uma compressão nos campos do ESP para reduzir o uso de banda passante.
No modo túnel, o ESP encripta e autentica todo o pacote original, reduzindo a necessidade do uso conjunto do AH neste caso.

O Internet Key Exchange, protocolo do IPSec para gerenciamento automático de chaves, utiliza um algoritmo baseado na troca de chaves de Diffie-Hellman, mas inclui mecanismos adicionais para a autenticação. Por que isso é necessário? Qual o principal tipo de ataque ao qual o Diffie-Hellman é vulnerável?

Por não prover a autenticação dos comunicantes, o algoritmo de Diffie-Hellman é vulnerável ao "ataque do homem no meio", em que o atacante intercepta as mensagens enviadas e forja outras, assumindo a identidade das vítimas.