Il 99% delle volte che compare il messaggio "risorse insufficienti in Heap Zone" significa che è un problema di RAM. Ovvero: non hai RAM sufficiente per completare l'operazione, e la RAM presente è andata in "saturazione".
Soluzione: o provi, come dice Daniele, ad aumentare la memoria virtuale (ma non credo tu risolva), oppure compri un modulo aggiuntivo, oppure calcoli il rendering a pezzi utilizzando l'area di selezione (dovrai poi rimontarlo con un programma di fotoritocco).
ciao
Robs