announce/2009-07-03-mail.mdwn

   1 For real-time updates on the ongoing outage, see the "E-mail" section of MIT's [3down](http://3down.mit.edu/3down/#e) page, or [this](http://web.mit.edu/network/email_outage_20090723.html) page about the incident.
   2
   3 Below is the email sent around 4pm on July 23rd about the outage.
   4
   5     From: Christine Fitzgerald <cavanna@MIT.EDU>
   6     To: "is&t@mit.edu" <is&t@mit.edu>,
   7             "itpartners@mit.edu" <itpartners@mit.edu>,
   8             "it-lead@mit.edu" <it-lead@mit.edu>,
   9             "infogroup@mit.edu" <infogroup@mit.edu>
  10     Subject: EMAIL OUTAGE:  Issue with Incoming Email
  11     Date: Thu, 23 Jul 2009 15:53:50 -0400
  12     CC: "tmstone@mit.edu" <tmstone@mit.edu>,
  13             "sharonp@mit.edu" <sharonp@mit.edu>
  14
  15     At approximately 6:00 am today, we experienced issues with the
  16     delivery of incoming mail on five of our IMAP post office servers
  17     (po9, po10, po11, po12, and po14).  This affects users whose email is
  18     running on the traditional IMAP email servers and does not impact
  19     those who are running email using Microsoft Exchange.
  20
  21     The root cause of the problem was identified as damaged controller
  22     cards on the SAN (which is our email storage system).  These cards
  23     were replaced this morning and we have been able to restore three
  24     (po9, po12, po14) of the five post office servers.
  25
  26     The Network team continues to trouble shoot the remaining problems
  27     with the post office servers (po10 and po11) and is working closely
  28     with our vendor, SUN and their engineering experts for issues related
  29     to the SAN storage device.  Simultaneously, we are working to help
  30     users effected by the outage get their incoming mail by bring up a
  31     separate storage device. All inbound mail is being queued and will be
  32     delivered once the servers are restored.
  33
  34     We realize that this outage has affected a number of users on campus
  35     and we have been working throughout the day to restore this service
  36     for you. Restoration is a complex process and is being closely
  37     monitored every step of the way. Updates have been posted to the
  38     3-DOWN website on a regular basis throughout the day and a message has
  39     been posted to the Service Desk call center line to notify users of
  40     the situation.
  41
  42     We understand how important email is to all of you and we apologize
  43     for the inconvenience this has caused.
  44
  45     Please direct any questions you may have to the Service Help Desk at
  46     computing-help@mit.edu or 617.253.1101.
  47
  48     Best,
  49     Christine
  50     _______________________________________________________________________________
  51     NOTE:  IS&T will *NEVER* request passwords or other personal information via email.
  52     Messages requesting such information are fraudulent.
  53     _______________________________________________________________________________
  54     Christine C. Fitzgerald
  55     Manager of Strategic Communications
  56
  57     Informations Services and Technology (IS&T)
  58     Massachusetts Institute of Technology
  59     77 Massachusetts Avenue, Room N42-240N
  60     Cambridge, MA 02139-4307
  61
  62     cavanna@mit.edu
  63     617.253.9814
  64