11/08/2011

Durante dois dias (ontem e hoje) no período da manha, tivemos alguma instabilidade no servidor ALFA LINUX USA. Servidor hospedado no Data Center “SOFTLAYER”, o problema aconteceu, quando um usuário (cliente) infringiu as regras de nossa empresa e tentou fazer envio de e-mails em massa (SPAM), pratica totalmente não autorizada pela nossa equipe, como já era a segunda vez, o cliente foi suspenso, e convidado a se retirar de nossa empresa. O problema foi resolvido.

Agora por volta de 13:00 o servidor novamente teve instabilidade desta vez por uma tentativa de invasão de Hackers como não tiveram sucesso devido a nosso forte sistema de segurança, os mesmos realizaram ataques DDOS, este tipo de ataque visa corromper e derrubar nosso servidor, os mesmos estão protegidos com forttes firewalls e o mesmo (ataque) não causou resultados, não teve qualquer um problema a nossos clientes, websites e ou perca de dados.

Neste momento fechamos o servidor para acesso web, para finalizar a colocação de um firewall físico, assim que finalizarmos seus sites voltaram a funcionar com 100% de acessibilidade.

Este processo é de segurança e visa proteger não só seus websites como também todos os dados de sistema.

Previsão de normalização: ADIADA

Atualização: 18:11

Lamentavelmente, foi detectado um erro grave no kernel do servidor ALFA e o disco de boot não mais esta subindo o sistema operacional, o Data Center (softlayer) esta investigando o problema e tentando rever a melhor solução possível. Fique tranqüilo, que não existe a menor chance de perder dados, o problema detectado esta mesmo na hora de reiniciar o sistema no caso do RedHad Linux.

Atualização: 18:49

 Neste instante, os tecnicos do data center, estao dando “yum update” no servidor, para ver se atualiza os arquivos da partição boot e assim o sistema voltar a levantar o sistema operacional.

Atualização: 23:51

Ainda estamos trabalhando na recuperação de sistemas, a mesma esta em 87%. O maior problema enfrentado até o momento é que não estamos conseguindo levantar o sistema operacional Linux, e sem ele, não temos como recolocar os sites no ar, e ou mesmo poder realocar, etc.

Estamos tentando outras alternativas e iremos repassar as mesmas neste mesmo Post.

Atualização: 03:39

Como esta demorando bem mais do previsto, estamos vendo novas opções, entre elas, enviar para um outro servidor os backups e ir restaurando, o problema e que sem o sistema operacional do servidor funcionar não temos como gerar e enviar os backups..

A nossa equipe esta pensando em alternativas….

Atualização: 07:38

Lamentavelmente, o processo ainda esta lento, e sem prazo para finalizar, para ganhar tempo e como temos fullbackups remotos iremos alocar um novo servidor e enviar esse backups, ao novo servidor, e restaurar os backups, etc. Os clientes receberam os novos DNS e IPs durante o decorrer do dia, e a medida que os backups foram restaurados os sites irão ao ar.

Obs.: Esta é uma medida que visa, manter seus sites com o mínimo de Downtime possível, enquanto isso a nossa equipe principal continua trabalhando na recuperação do sistema, se a mesma for bem sucedida, em qualquer momento seus sites voltaram ao ar.

Em todos os anos que a WebinHost, esta no ar, é a primeira vez que acontece este tipo de fatos, quem já é cliente a longos anos, sabe da qualidade e da responsabilidade que a nossa empresa tem pelo nosso cliente, já seja revenda ou cliente final o fato (incidente) é algo totalmente atipico, e estamos trabalhando na melhor solução possivel, tentando diminuir o impacto a todos nossos clientes.

Atualização: 09:09

Por causa do problema e como já informamos ser um incidente raríssimo, e a demora na resolução do mesmo, uma das maneiras de tentar diminuir o prejuízo de nossos clientes, estaremos isentando a todos os nossos clientes afetados, da mensalidade do mês de Agosto e para quem já pagou serão creditados os valores pagos referente ao mês corrente, no próximo vencimento.

Dentro de pouco, alem de nossos canais de atendimento normais (telefone, chat via website, skype, MSN, tickets, etc.), os quais estão TODOS funcionando, estaremos disponibilizando um numero de telefone exclusivo para o atendimento sobre o incidente e assim atender os clientes afetados.

 A nossa empresa, não se isenta de maneira alguma nos problemas, para quem já é cliente, sabe muito bem de nossa qualidade e responsabilidade perante TODOS nossos clientes.

Atualização: 12:56

A segunda equipe que esta trabalhando na migração das contas, já estão em 77%  e  primeira equipe que ainda esta trabalhando na recuperação do sistema, avançou e esta fazendo testes, esperamos que de tudo certo…

Previsão definitiva não temos, mais acreditamos que no decorrer da tarde e inicio de noite, já estará tudo 100% (É a nossa previsão, se as coisas se manter como estão).

Qualquer duvida, disponibilizamos este numero de telefone exclusivamente para explicações sobre o assunto:  11 XXXX-XXXX exclusivo e só para esta emergência.

Atualização: 16:20

Migração finalizada…

Dentro de pouco iniciaremos as restaurações das contas, a medida que o procedimento é feito, iremos enviar os dados dos novos DNS e IPs.

Esta etapa será dividia em duas faces:

 1-      Restauração de todas as contas e envios dos novos IPs para os usuários. Nesta etapa o Backup que esta sendo restaurado é de duas semanas atrás, não se preocupe, com dados desatualizados ou perca de arquivos, pois na segunda face já serão atualizados e recuperados. A idéia é ganhar mais tempo e colocar seus sites no ar o antes possível, sem perder mais tempo.

 2-      Após estar todas as contas restauradas de todos os clientes, vira a face dois, que consiste, na atualização das contas a como estavam no momento antes de acontecer a catástrofe, assim deixaremos seus sites sem nenhuma perca de dados. Este processo é um pouco mais demorado pois nao existe processo automatico, e tera que ser feita “conta a conta, uma a uma, mao a mao”, e será realizada durante a noite/madrugada.

Atualização: 18:20

Restaurando contas……

 Atualização: 22:20

A restauração de contas esta em 91% e a maioria dos sites já estão no ar, neste momento as nossas equipes se concentram em finalizar as restaurações faltantes e logo em seguida iniciar as atualizações.

lembrando que alguns sites estarão desatualizados, isso e normal, no decorrer do dia de hoje e a manha, os mesmos serão atualizados, para o dia que aconteceu o sinistro.

Somente o dominios principal da Revenda:

ns1.seudominiorevenda   IP   68.233.251.189

ns2.seudominiorevenda  IP    201.20.20.6

Clientes de hospedagem WebinHost

dns1.webinhost.com.br

dns2.webinhost.com.br

Obs.: Somente os clientes afetados com o problema citado neste POST.

 Atualização: as 12:01

Gostaríamos de salientar que estamos trabalhando a mais de 4 dias arduamente na recuperação dos sistemas e sites, os quais, 70% já foram recuperados, menos os que continham banco de dados. Estes (os sites com banco de dados)  ainda estão em processo de recuperação, pedimos a todos os clientes paciência, e que entendam que o problema foi grave.

Em momento algum a nossa empresa tem sido omissa, ao contrario, temos tentando atender a todos, alguns atendimentos estão demorando devido a longa fila de atendimentos, mais TODOS serão atendidos sem exceção.

Nossos canais de atendimento, estão funcionando a 100%, pedimos paciência.

Obs.: Atualmente alguns sites estão apresentando erro 403, e ou problemas com e-mails  o problema na verdade não é um problema e sim uma solução, no Maximo de aqui até as 15:00 já estarão funcionando (ambos)

Atualização: 14:15

Os sites que apresentavam erro 404 e 403 já foram corrigidos, e os com problemas de e-mails praticamente todos estão funcionando já (se ainda tiver alguém com envios nos informe via ticket). Agora o trabalho mais árduo, demorado e árduo e a recuperação dos banco de dados o qual esta sendo feito e reconhecemos esta demorando…

Atualização: 16:55

Prezados clientes!

Continuamos trabalhando arduamente na recuperação de todos os sites, porem, por ser um trabalho manual, ainda esta lento, lamentavelmente. Porem, recebemos uma noticia excelente de uma de nossas equipes que esta cuidando do servidor afectado e a mesma esta finalizando a recuperação de todos os backups e dados de seus websites, e logo iniciara também a recuperarão e reconfiguração do servidor danificado, e com isto agora sim, já temos um prazo definitivo para lhes oferecer.

O  prazo de recuperação de 100% de todos seus sites é de 12 horas,  porem, estamos trabalhando na estimativa de 6 horas (a manha). Neste prazo, a entrega será definitiva com todos seus sites funcionando 100% e com a configuração, arquivos e banco de dados  usada no dia da catástrofe, o seja , sem nenhuma perca de nenhum dado.

Neste mesmo comunicado, avisamos que os clientes afetados que ao contrario do SLA que deveria descontar somente os dias de em sinistro (3) da mensalidade, demos 30 dias o seja 100% da sua próxima mensalidade, mais como teve uma demora alem da programada, o SLA esta sendo aumentado novamente, para as próximas 2 mensalidades, independente do valor que paga mensalmente, o seja, nao será cobrada as proximas duas mensalidades (setembro e outubro), para quem ja tinha pago a mensalidade de agosto, será extendido para novembro.

Atualização: 17:11

Prezados Clientes, estamos já restaurando os backups de TODOS os clientes, e aos poucos os sites estarão online  (por favor, nao abra ticket de suporte, aguarde nos finalizar tudo, pois atualzaremos neste mesmo post).

Precisamos que TODOS troquem seus DNS para:

Revendas:

Somente o dominios principal da Revenda:

ns1.seudominiorevenda   IP   68.233.251.189

ns2.seudominiorevenda  IP    201.20.20.6

Clientes de hospedagem WebinHost

dns1.webinhost.com.br

dns2.webinhost.com.br

Obs.: Somente os clientes afetados com o problema citado neste POST.

Cordialmente

Marco Antonio

Gerente administrativo

Atualização de Restauração de Backups (sites Online)

Restore das contas, no cPanel, em 16% às 17:52

Restore das contas, no cPanel, em 31% às 19:52

Restore das contas, no cPanel, em 47% às 21:43

Restore das contas, no cPanel, em 61% às 00:34

Restore das contas, no cPanel, em 72% às 04:01

Restore das contas, no cPanel, em 83% às 07:07

Restore das contas, no cPanel, em 91% às 08:52

Restore das contas, no cPanel, em 100%  

 

Assunto ENCERRADO, problema RESOLVIDO.

___________________________________________________________________________________________

E-mail: sac@webinhost.com.br
MSN: suporte@webinhost.com.br
Skype: WebinHost
Atendimento Telefonico:
(11) 2626-2319 | (21) 3005-4041
(41) 2626-9015 | (31) 4062-0075
(51) 2626-9205 | (71) 4062-9773
(61) 4062-0096 | (62) 4052-0099

Lembrando que só foi afectado um de nossos servidores, o ALFA, o restantes estao todos funcionando sem problemas e a 100%