Что теоретически надёжнее SHA-512 или Whirlpool ?

Архитектура SHA-512 базируется на архитектуре SHA-1, репутацию которому уже подиспортили. Большая надежность SHA-512 перед SHA-1 главным образом в длине выходного значения и может быть в не очень значительных усовершенствованиях самого алгоритма. Увеличенная длина выходного значения SHA-2 (256, 384, 512) должна обеспечить запас надежности на какое-то обозримое время (если технологию SHA не взломают окончательно). Whirlpool это функция с другой архитектурой, на которую успешных атак пока не было. На данный момент привлекает к себе внимание как альтернатива SHA. Не знаю правда будет ли она представлена на конкурсе стандартов, объявленном НИСТ.

Не знаю правда будет ли она представлена на конкурсе стандартов, объявленном НИСТ.

Если и будет, то получение ею статуса стандарта очень маловероятно. Алгоритм очень медленный (как у него с параметризацией, кстати?), что затрудняет его реализацию в ограниченных системах типа смарт-карт. Вспомним, что на AES выдвигались кандидаты значительно более прочные, чем Rijndael, но победа в таких конкурсах — это всегд компромисс.

По размеру выходного значения? Кроме отрезания лишних битов ничего не заметно.

Алгоритм очень медленный <...>, что затрудняет его реализацию в ограниченных системах типа смарт-карт.

Для смарт-карт это как раз некритично, там же не гигабайты данных в секунду хэшируют. Там важен скорее минимальный объём занимаемой памяти, а с этим у Whirlpool всё в порядке.