Das Hôtel d'Anvers wurde 1697 nach der Zerstörung Dieppes durch die Grande Bombarderie errichtet, einem anglo-holländischen Angriff, der die Stadt fast völlig zerstörte.
Seine klassische Architektur ist repräsentativ für den Stil von Ventabren, dem Architekten, der von Ludwig XIV. mit dem Wiederaufbau von Dieppe beauftragt wurde: Die Geschäfte befinden sich im Erdgeschoss und im Zwischengeschoss, beide mit Arkaden, über denen sich zwei Stockwerke mit Wohnungen befinden. Die Fassade zeichnet sich durch Symmetrie und Verweise auf die antike Architektur des klassischen Stils aus: ein dreieckiger Giebel und Pilaster, die die Stockwerke miteinander verbinden und an griechische Tempel erinnern. Es wird angenommen, dass das Hôtel d'Anvers einem reichen Kaufmann gehörte, der in dem Herrenhaus wohnte und seine Waren in den Gebäuden auf dem Hof lagerte.
Anfang des 20. Jahrhunderts wurden die Säulen, die die Balkone stützen, bei der Sanierung des Gebäudes hinzugefügt. Diese Ergänzung ist ein Echo des Gemäldes, das William Turner 1826 während seines Aufenthalts in Dieppe malte und auf dem er auf beiden Seiten der Veranda des Hôtel d'Anvers Säulen hinzufügte. Ein weiteres architektonisches Highlight ist der Fries mit einer Ansicht von Antwerpen aus dem 17. Jahrhundert in der überdachten Passage zum Hof.
Im Jahr 1991 wurden das Hôtel d'Anvers und sein Fries in das Zusatzinventar der historischen Denkmäler aufgenommen.