Les systèmes de détection d'intrusion (IDS - Intrusion Detection Systems) basés sur l'apprentissage profond ont prouvé leur efficacité, mais ont des difficultés à apprendre de manière continue et à détecter de nouvelles attaques au fil du temps en raison d'une fonction de récompense supervisée basée sur des étiquettes. Dans cet article, nous présentons une méthode d'apprentissage par renforcement appelé \textit{Double Deep Q-Learning} (DDQL) utilisant une fonction de récompense non-supervisée permettant de détecter des motifs d'attaques inconnus. Pour fonctionner, la fonction de récompense s'appuie sur un score de normalité inspiré de la détection des anomalies du trafic automobile.