Ja filmy na PS3 prehravam z PMS (PS3 MediaServer), kterej bezi na 'serveru' - C2D E6200,2G RAM. FullHD to da, ale ne 100%ne.
DXVA to afaik neumi, protoze pouziva mencoder (pro kompletni prekodovani, pokud PS3 nepodporuje video stream - treba WMV, nebo pokud je potreba delat neco s obrazem (=pridavat titulky)), nebo tsMuxer (pokud je video v MPEG4). tsMuxer byl zatim vzdy v pohode, mencoder mi na te E6200 pri delsich narocnejsich scenach trosku zaskube a pak popobehne.
Co se tyce formatu, tak by PS3 mela podporovat standardni MPEGy v .avi a pak DivX (v nem jako v jedinym podporuje 'externi titulky').

Edit: ad. HTPC - skoda ze PS3 nema v linuxu rozumnej driver na grafiku, pak by to byl imo ultimatni HTPC