Lo primero que necesitas saber con certeza es la IP de la puerta de enlace, puedes verlo haciendo un tracert a alguna pagina (google por ejemplo) en consola fijandote en el primer salto de los paquetes, haciendo un opconfig o visualizando las propiedades del estado de tu señal wifi en la lista de wifis disponibles (En xp creo que eso no era asi, pero no tengo ganas de mirar como era)
Generalmente suele ser la 192.168.1.1
Una vez estes en la pagina de logeo del router prueba con (usuario/contraseña) admin admin, 1234 1234, admin vacio, 1234 vacio (Estas son las tipicas, puede ser otra todo depende del router)
Y una vez estes dentro solo dirigete a la pestaña de seguridad o de Wireless LAN o similares, en cada router pueden llamarlo diferente y ahi modificar la contraseña (Recuerda no poner nada personal como contraseñas de cunetas o demas por si te la rompen)
Ya por ultimo tambien es recomendable poner un filtro MAC para evitar asi que aunque te rompan la clave no puedan tener acceso con facilidad (Que se pueden suplantar, pero ya es mas dificil
)