Llevo casi mes y medio lidiando con las descargas que tenemos en un servidor web. A raíz de un problema que tuvimos conseguimos detectar varios problemillas secundarios, que parece que ya están arreglados.
Desde hace un tiempo estamos luchando por conseguir detectar por qué han descendido los porcentajes de descargas respecto a las visitas.
Primeramente hay que hacer notar que el porcentaje de visitas lo tomamos de Google analytics, y el de descargas del log del servidor. En el servidor de descargas tenemos nginx.
Hemos probado varias cosas, balancear las descargas entre servidores heterogéneos, nginx, lighttpd, apache; jugar con los keepalive.
He estado dándole vueltas a configurar varnish como proxy cache, pero después de darle vueltas a la idea, me he dado cuenta de que el problema no es el "throughput" sino la descarga propiamente.
Supongo que todo viene del cambio de instalador. Previamente teníamos un instalador web, se descargaba un fichero pequeñito y este se encargaba de descargar los ficheros que necesitara. Ahora tenemos un fichero grande con todos los ficheros, de modo que la instalación es más grande, pero sospecho que a muchos usuarios no les gusta esta solución y cancelan la descarga al ver que descargan un fichero de 12 Mb.
Sigo investigando. Se aceptan ideas :-)
05 marzo 2008
21 febrero 2008
Insecure Magazine 15
Con cierto retraso escribo esta reseña a Insecure Magazine, pero estoy de trabajo hasta arriba.
Ahora que estoy liado con los anchos de banda, tiempos de descarga, etc, etc., el artículo que estoy devorando por momentos es el de herramientas de monitorización.
En fin, aquí están los contenidos y el enlace a la descarga (todo en inglés):
Ahora que estoy liado con los anchos de banda, tiempos de descarga, etc, etc., el artículo que estoy devorando por momentos es el de herramientas de monitorización.
En fin, aquí están los contenidos y el enlace a la descarga (todo en inglés):
- Proactive analysis of malware genes holds the key to network security
- Advanced social engineering and human exploitation
- Free visualization tools for security analysis and network monitoring
- Internet terrorist: does such a thing really exist?
- Weaknesses and protection of your wireless network
- Fraud mitigation and biometrics following Sarbanes-Oxley
- Application security matters: deploying enterprise software securely
- The insider threat: hype vs. reality
- How B2B gateways affect corporate information security
- Reputation attacks, a little known Internet threat
- Data protection and identity management
- The good, the bad and the ugly of protecting data in a retail environment
- Malware experts speak: F-Secure, Sophos, Trend Micro
- AND MORE!
Publicado por
jmcalvar
en
4:11 p. m.
0
comentarios
Enviar por correo electrónicoEscribe un blogCompartir en XCompartir con FacebookCompartir en Pinterest
Etiquetas:
insecure magazine,
seguridad magazine
25 enero 2008
Cómo instalar OS X en un PC
Un artículo muy interesnte vía lifehacker. Sólo hago reseña, porque todavía no lo he podido probar, las desventajas de tener una casa pequeña y no tener sitio para más "cacharrería".
La verdad que Leopard de Mac es muy bonito, pero vamos a ver qué pasa también con KDE 4
Enlace a la noticia (en inglés)
La verdad que Leopard de Mac es muy bonito, pero vamos a ver qué pasa también con KDE 4
Enlace a la noticia (en inglés)
Publicado por
jmcalvar
en
8:27 a. m.
0
comentarios
Enviar por correo electrónicoEscribe un blogCompartir en XCompartir con FacebookCompartir en Pinterest
Etiquetas:
mac
23 enero 2008
Cómo arreglar el Windows mbr con un livecd de Ubuntu
A través de ArsGeek encuentro una solución al problema de que se estropee el mbr en un sistema en el que tenemos windows instalado (obviamente una partición).
Con esta solución podemos volver a tener el mbr original, de modo que se va a cargar Windows. Después debemos encargarnos de instalar Grub o Lilo, o el gestor de arranque que tengamos.
Es interesante, porque no debemos recurrir a la reparación del sistema de Windows que es mucho más lenta.
Noticia original (en inglés)
Con esta solución podemos volver a tener el mbr original, de modo que se va a cargar Windows. Después debemos encargarnos de instalar Grub o Lilo, o el gestor de arranque que tengamos.
Es interesante, porque no debemos recurrir a la reparación del sistema de Windows que es mucho más lenta.
Noticia original (en inglés)
22 enero 2008
Problemas de DNS con proveedores de hosting
Aunque el título parece ilustrativo el tema es mucho más profundo, es casi como un cuento :-).
Vamos a situarnos. Tenemos varios servidores dedicados en un ISP (por supuesto linux) que gestionamos directamente nosotros, hasta aquí todo normal.
Uno de los servidores está dedicado a recopilar estadísticas de los otros. En otros servidores tenemos unos ficheros de los cuales queremos guardar estadísticas del número de descargas.
Para conseguir guardar estas estadísticas tenemos un fichero php que se encarga de servir el fichero en cuestión hacer una petición al servidor de estadísticas que realiza la query correspondiente en la base de datos.
Últimamente el jefe me comentaba que veía cosas raras en los servidores y que no debían estar finos porque no parecía que descargaran bien. Yo lo respondía estaba monitorizando los servidores y que iban correctamente, y que apenas tenían carga (ya que los servidores grandes utilizan nginx).
Ayer ya me dijo: "Bórrate el caché y descarga otra vez el fichero X".
Yo lo hice y efectivamente tardaba más de diez segundos en comenzar a cargar un fichero de apenas 100 KB.
Mi conclusión, por una parte lógica, pero por otra precipitada, fue que el problema venía del servidor de estadísticas; aunque por otro lado me extrañaba, porque tenía una carga aparentemente baja como para ralentizar de esta manera las descargas.
Cuán equivocado estaba...
De casualidad y supongo que también ayudó estar mirando diversos logs, descubrimos que todo el problema se debía a los servidores de DNS que teníamos configurados en el /etc/resolv.conf.
Resolvían nombres, pero tenían un pequeño retardo al principio que hacía que se retrasara todo el procesamiento de php, con el consiguiente retardo en las descargas. Tuvimos que incluir los nombres de los servidores en /etc/hosts, a la antigua usanza :-) y entonces comprobamos que las aguas volvían a su cauce
Después de esto nos hemos dado cuenta que tenemos que reescribir ese php, porque si la máquina que procesa las estadísticas repercute en las descargas.
Pero lo mejor estuvo por llegar. A través del webchat, me pongo en contacto con mi proveedor de hosting para indicarles que tienen unos servidores de DNS que están sirviendo mal los nombres.
Simplemente se lo indicaba por si más personas tenían esos servidores configurados.
Me responden, que no me pueden ayudar, que los servidores funcionan perfectamente y que si tengo algún problema que abra un ticket. Realmente es un poco vergonzoso ya que confías en tu proveedor, ni por asomo te puedes imaginar que un servicio básico como el DNS le vaya a funcionar mal y que cuando intentes ayudar te vengan a decir, "andaaaaa,.... que no es por no mirarlo, si hay que mirarlo se mira...., pero si todo funciona bien, ¿para qué voy a mirarlo?"... :-)
Vamos a situarnos. Tenemos varios servidores dedicados en un ISP (por supuesto linux) que gestionamos directamente nosotros, hasta aquí todo normal.
Uno de los servidores está dedicado a recopilar estadísticas de los otros. En otros servidores tenemos unos ficheros de los cuales queremos guardar estadísticas del número de descargas.
Para conseguir guardar estas estadísticas tenemos un fichero php que se encarga de servir el fichero en cuestión hacer una petición al servidor de estadísticas que realiza la query correspondiente en la base de datos.
Últimamente el jefe me comentaba que veía cosas raras en los servidores y que no debían estar finos porque no parecía que descargaran bien. Yo lo respondía estaba monitorizando los servidores y que iban correctamente, y que apenas tenían carga (ya que los servidores grandes utilizan nginx).
Ayer ya me dijo: "Bórrate el caché y descarga otra vez el fichero X".
Yo lo hice y efectivamente tardaba más de diez segundos en comenzar a cargar un fichero de apenas 100 KB.
Mi conclusión, por una parte lógica, pero por otra precipitada, fue que el problema venía del servidor de estadísticas; aunque por otro lado me extrañaba, porque tenía una carga aparentemente baja como para ralentizar de esta manera las descargas.
Cuán equivocado estaba...
De casualidad y supongo que también ayudó estar mirando diversos logs, descubrimos que todo el problema se debía a los servidores de DNS que teníamos configurados en el /etc/resolv.conf.
Resolvían nombres, pero tenían un pequeño retardo al principio que hacía que se retrasara todo el procesamiento de php, con el consiguiente retardo en las descargas. Tuvimos que incluir los nombres de los servidores en /etc/hosts, a la antigua usanza :-) y entonces comprobamos que las aguas volvían a su cauce
Después de esto nos hemos dado cuenta que tenemos que reescribir ese php, porque si la máquina que procesa las estadísticas repercute en las descargas.
Pero lo mejor estuvo por llegar. A través del webchat, me pongo en contacto con mi proveedor de hosting para indicarles que tienen unos servidores de DNS que están sirviendo mal los nombres.
Simplemente se lo indicaba por si más personas tenían esos servidores configurados.
Me responden, que no me pueden ayudar, que los servidores funcionan perfectamente y que si tengo algún problema que abra un ticket. Realmente es un poco vergonzoso ya que confías en tu proveedor, ni por asomo te puedes imaginar que un servicio básico como el DNS le vaya a funcionar mal y que cuando intentes ayudar te vengan a decir, "andaaaaa,.... que no es por no mirarlo, si hay que mirarlo se mira...., pero si todo funciona bien, ¿para qué voy a mirarlo?"... :-)
Publicado por
jmcalvar
en
10:11 a. m.
0
comentarios
Enviar por correo electrónicoEscribe un blogCompartir en XCompartir con FacebookCompartir en Pinterest
Etiquetas:
hosting,
php,
redes,
servidores web
Suscribirse a:
Entradas (Atom)