Costruito dal signore di Vasto Giacomo Caldora attorno al 1427 su degli orti che prima appartenevano al convento degli Agostiniani, il palazzo divenne dei Marchesi d’Avalos nel 1496. I d’Avalos mantennero l’impianto tardo gotico del palazzo, ancora oggi visibile in alcuni dettagli portati alla luce dai recenti restauri, ma svilupparono e ingrandirono la costruzione che divenne il centro del loro potere. Nel 1566 purtroppo il palazzo venne dato alle fiamme dagli ottomani che erano entrati a saccheggiare la città agli ordini di Piyale Pascià. I Marchesi del Vasto dopo pochi anni lo ricostruirono nelle forme attuali, partendo dalla facciata Ovest che dà su Piazza Lucio Valerio Pudente. Questa è sicuramente la più rilevante dal punto di vista architettonico e richiama lo stile cinquecentesco dei palazzi romani.
Il Marchese Cesare Michelangelo d’Avalos apportò notevoli miglioramenti al palazzo, dotandolo di un teatro al piano terra e dello scalone monumentale che oggi conduce alla pinacoteca. I suoi eredi, nella seconda metà del ‘700, affidarono probabilmente all’architetto Mario Gioffredo, lo stesso a cui è attribuito il progetto della chiesa del Carmine, la sistemazione del lato Nord. A fine secolo furono sistemati i loggiati e i terrazzi sul lato verso il mare e il giardino di stile napoletano. Questo è oggi forse il punto di maggior interesse del complesso per l’atmosfera data dal pergolato sorretto da colonne in mattoni e dalle maioliche napoletane, per l’incantevole vista sul Golfo di Vasto e per le testimonianze architettoniche del primo palazzo, fra cui una bella bifora in stile gotico flamboyant. Dopo la fine del marchesato, dichiarata nel 1808, i d’Avalos si ritirarono a Napoli. Il palazzo fu ceduto a privati e diviso in appartamenti e botteghe. Per lunghi anni nel suo teatro venne ospitato un cinema. Nel 1974 fu acquisito quasi totalmente dal comune di Vasto adibito a sede museale.
Oggi Palazzo D’Avalos ospita il Museo Archeologico, il Museo del Costume Antico e la Pinacoteca.
Il giardino alla napoletana fa parte del percorso di visita museale, ma ospita anche diversi eventi estivi. Il cortile del palazzo, invece, è a volte sede di concerti. Il palazzo è stato quasi completamente restaurato dal comune di Vasto negli anni ’90 dello scorso secolo. Non completamente perché l’angolo di Nord-Est, con il grande terrazzo che si affaccia sul mare, è ancora di privati. Perciò, se mai voleste abitare a Vasto nel palazzo dei suoi Marchesi, sappiate che è un sogno ancora raggiungibile!