Ambas son combinaciones correctas, dependiendo de la situación:
1. Normalmente al decir "por la tarde" sin especificar la fecha, se debe utilizar por la tarde.
Por ejemplo: Fui al cine por la tarde.? Fui a ver una película por la tarde.
2. Si estás hablando de la tarde de una fecha concreta, debes utilizar en la tarde.
Por ejemplo: ¿Dónde estaba usted la tarde del 21 de mayo? ¿Dónde estaba usted la tarde del 21 de mayo?
Por la mañana (tarde/noche) significa por la mañana (tarde) y por la noche.
El lunes/martes/miércoles/jueves/viernes/...mañana (tarde/noche) significa la mañana (tarde/noche) de un día específico.
Información ampliada
Análisis del significado de las palabras
Las preposiciones arriba, sobre y sobre todas significan "sobre...".
Arriba generalmente se refiere a una posición más alta que algo, pero no necesariamente directamente encima o tocando otro objeto. Su antónimo es abajo.
On se refiere al contacto con la superficie de otro objeto.
Sobre significa que una cosa está verticalmente encima de otra, lo que normalmente significa colgar en el aire, pero también significa "cubriendo...". Su antónimo es bajo.