Ha valami nem működik, nem kell erőltetni, gondolta Simon Cowell, és mivel saját magában ezer százalékosan megbízik, az amerikai X-Factor kvázi kudarcát (nem hozott kiemelkedően jó számokat, bár annak idején az American Idol sem) ráverte a zsűritagokra és a műsorvezetésre, és egy híján mindenkit kihajított a műsorból. Távozott Steve Jones műsorvezető, akinek az volt a legnagyobb bűne, hogy brit, és az amerikai közönség nem volt vevő rá - pedig leginkább merevségét kellett volna kiemelni, és látható megilletődöttségét amivel Cowellt kezelte az egész első évad alatt.

Mennie kellett Nicole Scherzingernek is, ő eleinte társműsorvezetőként szerepelt a tehetségkutatóban, de Cowell inkább beültette zsűritagnak, amikor a Jones-hoz hasonlóan brit import Cheryl Cole-t kivágta (állítólag nem értették az akcentusát) az asztal mellől. Scherzinger a csöcsfaktor erősítése mellett túl sokat nem tett hozzá a műsorhoz, Cowell láthatóan nem értékelte sokra a véleményét és a közönség sem reagált túl jól az állandóan feszes bőrgatyában pózoló egykori Pussycat Dollra.

A legmeglepőbb az, hogy Cowell Paula Abdult is elzavarta, hiszen nagyon jó munkakapcsolatban vannak, ráadásul Abdul a második legnépszerűbb zsűritag volt a műsorban (LA Reid-et szerették a legkevésbé, erre csak ő maradt meg a második évadra). Nem tudni min kaphattak össze Cowellel. Az első évad nézettségét a műsor debütálása előtt Simon húszmillióra lőtte be, ami nem nagyon jött össze (12,4 milliós átlag). Az új zsűritagokról egyelőre semmi hír.