En fuite, Olivier rencontre le fantôme d'un pirate qui, tous les cent ans, cherche à retrouver un parchemin. Olivier accepte de l'aider. Mais ce faisant, il est capturé par une bande de pirates. Les autres enfants du village découvrent une porte à travers le temps et l'espace dans une vieille maison hantée et décident de sauver Olivier des pirates du capitaine Monbars.
Les affaires d'Olivier empirent. D'abord c'est la France qui lui envoi une de ses jolies ressortissantes du nom de Béatrice et qui met Olivier dans un état incroyable; ensuite c'est Laurent, son frère, qui veut publier certains passages de la vie d'Olivier que ce dernier voudrait garder cachés; et enfin c'est un passage vers le passé qui s'ouvre à chaque anniversaire! Décidément la vie d'Olivier est pleine de tracas...
Le jeune Olivier rencontre le fantome d'un flibustier du XVIIIe siecle condamne a revenir chez les vivants tous les cinquante ans depuis deux siecles, le jour de son anniversaire, afin de remplir une mission. Commence alors pour lui et ses amis l'aventure extraordinaire de remonter jusqu'au temps des flibustiers des mers du Sud.