Laut Firebug hat das Element, welches das blaue Etwas beinhaltet, folgende CSS-Klasse "connect_widget_facebook_favicon". Hast du diese Klasse irgendwo in deinem CSS-Sheet eingebunden? Falls ja, lösch den Part "background-image".

Das Element per JS zu entfernen, könnte etwas aufwändiger sein, weil du kein DIV-Tag mit eindeutiger ID hast, von dem du aus starten könntest.