Das Collège des Oratoriens am Quai Henri IV wurde 1614 an der Stelle des ehemaligen Hauses des Diepper Reeders Jehan Ango "La Pensée" errichtet.
Nach der Grande Bombarderie, einem anglo-holländischen Angriff, der 1694 die Zerstörung des Stadtzentrums von Dieppe zur Folge hatte, wurde auch das College zerstört. Anfang des 18. Jahrhunderts wird das neue dreiteilige Gebäude aus Backsteinen und Quadersteinen errichtet, das einen rechteckigen Hof umgibt.
Das Collège des Oratoriens hatte bis zur Revolution eine Bildungsfunktion, als das Gebäude beschlagnahmt wurde, bevor es seine ursprüngliche Bildungsfunktion wiedererlangte, indem es abwechselnd zu einem öffentlichen Collège und später zu einem Lycée wurde. Nach einem Brand im Jahr 1938 wurde 1959 eine Schule auf den Anhöhen von Dieppe errichtet.
Heute wird ein Teil des Gebäudes von der Vorschule genutzt, deren Kantine sich in der ehemaligen Kapelle befindet. Der andere Teil wird von Wohnungen belegt.