Para printerstudio poker size, yo en photoshop hago:
a) Tamaño de la imagen : 680 x 980 a escala (entonces verás que no es posible, al cambiar una se te cambiará la otra, así escoge la que no supere 680 o bien 980). El resize en bicúbico para ampliaciones, como bien han dicho ya. Este tamaño es el que yo uso para que quede en la zona 'segura'
b) Tamaño del lienzo : 822x1122 con fondo negro.
Sobre el pixelado, pues no te puedo decir si se notará mucho o no...
ya que no tiene el mismo efecto un pixel en la pantalla que una gota de tinta en la carta, y no tengo mucha experiencia en impresiones.