Por um lado / Por outro - Qual frase está mais bem construída?

Com vírgula. Repare que as duas frases podem ser escritas de forma independente:

Por um lado, essa pessoa ou empresa fica encarregada pelos tributos e pelo registo. Por outro, ela garante sua confidencialidade.

mais uma vez, preservando a vírgula.

As expressões "por um lado" e "por outro" são conectores de discurso que "conectam" duas orações distintas:

1. Essa pessoa ou empresa fica encarregue pelos tributos e pelo registo.
2. Ela garante sua confidencialidade

Por isso, é mais correto escrevê-los entre vírgulas -ou, melhor ainda, separados por um ;.

Eu escreveria a frase assim:

Se por um lado essa pessoa ou empresa fica encarregada pelos tributos e pelo registro, por outro garante a sua confidencialidade.

Eu, particularmente, não gosto das palavras ele, ela, você e etc. Acho que essas palavras enfeiam as frases e só devem ser usadas apenas quando necessárias.