Non ho capito bene la tua domanda. Tu stai controllando se ci sono delle righe continue, giusto? E facendo così arrivi fino alla fine della riga.
Invece tu ti dovresti fermare non appena trovi un vertice/angolo del rettangolo (se c'è). Ti basta controllare il pixel subito sotto o sopra per le righe orizzontali oppure il pixel subito a sinistra o a destra per le righe verticali. Se quello è bianco hai un vertice.