안녕하세요. TISTORY 입니다.

지난 10일 DB점검 작업 이후 주말부터 갑작스럽게 1주일동안 서비스가 불안정한 모습을 자주 보였습니다. 이에 따라 티스토리에 방문하셨던 분들이 블로그에 접속이 제한되거나 불안정하여 많은 불편을 경험하시고 실망을 하셨으리라 생각되어 마음이 너무 아픕니다. 서비스 이용 중 불편함과 심려를 끼쳐드려 회원 여러분들께 진심으로 고개숙여 사과의 말씀 드립니다.

티스토리의 불안정한 모습과 관련하여 팀 전체가 원인 분석과 또한 더 나은 서비스를 제공해드리기 위한 고민을 함께 나누었습니다. 앞으로 어떠한 노력을 통하여 이러한 문제를 해결해 나갈 지에 대하여 회원 여러분들께 솔직하게 내용을 공유드리려고 합니다. 작업 진행을 통하여 조금씩 나아지는 모습을 지켜봐주시길 바라오며, 따뜻한 격려 한마디도 부탁드리겠습니다.



   티스토리 이용 불안    

  • 4월 11일 토요일 새벽 장애 발생 (41분간) : 갑작스러운 'Forbidden' 이라는 페이지가 발생한 것은 블로거 분께서도 지적해 주신바 있지만 새벽 DB 점검 작업을 마치고 서비스를 정상화하기 위한 최종 작업을 하는 과정에서 실수가 발생하였기 때문입니다. 서비스 장애가 발생하고 난 후, 마지막 작업 과정에서 실수가 있었다는 것을 확인하였으며 장애 발생 후 42분 후 정상화되었습니다. 다시 한번 실수로 인하여 피해를 드리게 된 점 진심으로 사과의 말씀드립니다. 개발팀에서 최종 배포 작업 시에 더 꼼꼼하게 확인 목록을 작성하여 실수가 일어나지 않도록 프로세스 및 모니터링 시스템을 강화해 나갈 예정입니다.
  • 4월 12일 일요일 오후 및 자정 장애 발생 (10분간) : 갑작스럽게 DB 부하가 발생하면서 일시적으로 페이지 로딩을 하는 과정에서 실패가 발생한 것으로 파악되었습니다. 다만 11일 정상화 작업을 진행하는 도중 안내 페이지를 기존 버전으로 돌려놓지 않아 10일 점검 작업 메시지가 노출되었는데, 잘못된 안내 메시지로 인하여 혼란을 겪으셨을 여러분들께 사과의 말씀드립니다.
  • 4월 13일 월요일 오전 장애 발생 (10분간) : 일요일에 발생하였던 유형과 유사한 패턴의 DB 부하로 인하여 일시적으로 페이지 로딩 실패하는 건 수가 갑자기 증가하여 공지 블로그를 비롯하여 많은 개별 블로그 접속이 원활하지 않은 문제가 발생하였습니다. 이에 따라 DB 부하를 초래하는 모든 요소들을 모두 모니터링하였으며, 일부 직접적인 문제가 될 수 있는 부분들을 제거함에 따라 정상화 되었습니다.
  • 4월 16일 오후 DNS 서버 장애 (약 50분간): 일부 블로그 이용자의 지역 환경에 따른 접속 문제로 인하여 DNS 서버를 확장하는 과정에서 일부 블로거분들께서 DNS 서버에 접근이 어려워 블로그에 따라 접속이 되었다가 되지 않았다가 하는 모습을 보였습니다. DNS 서버 복구를 통하여 해결하였습니다.
  • 4월 17일 새벽 권한 설정 장애 (약 1시간) : 팀블로그 및 몇 가지 권한설정과 관련하여 정책을 정리하고 배포하는 과정에서 일부 오류가 발생함에 따라 공지블로그 및 일부 블로그의 비밀댓글이 로그인을 한 상태인 다른 티스토리 이용자들에게 보였습니다. 고객센터 및 공지의 신고에 따라 오류 처리가 되었사오나, 이 오류로 인하여 피해를 입으신 분들이 없도록 더욱 주의를 기울이도록 하겠습니다.


   이렇게 해결하겠습니다!    

이번 장애들을 보면서 티스토리 서비스 시스템이 안고 있었던 불안전 요소들을 확인함과 동시에, 일부 배포 과정에서 실수가 있었던 것 같습니다. 아래와 같이 프로세스와 모니터링을 강화함으로써 불편을 최소화하고, 문제가 발생할 수 있는 요인들을 근절할 수 있도록 노력하겠습니다.

  • 배포 프로세스 및 모니터링 강화 : 티스토리 서비스와 관련하여 배포가 이루어질 때에 더 많은 테스트를 진행하는 것은 물론 배포 진행 및 완료 과정에서 일어날 수 있는 모든 경우의 수를 파악하여 '체크리스트'를 더욱 세분화하여 작업하여 가이드를 정리를 진행하여 실수를 최소화하도록 노력함은 물론, 배포 이후의 실서비스에서 문제가 발생할 경우 즉각 처리할 수 있도록 모니터링을 강화할 예정입니다. 또한 긴급 상황을 제외한 모든 경우에 대하여 배포는 문제 발생 최소화를 위하여 가장 트래픽이 적은 새벽에 진행될 예정입니다.
  • 자동 모니터링 시스템 강화 : 현재 티스토리에는 네트워크나 DB 현황을 알 수 있도록 모니터링 시스템이 있으나, 이번처럼 일부 블로그에 잠시동안 발생하는 경우 장애 현황 등을 놓치기 쉬운 부분이 있는 것 같아, 분단위 이하로 모니터링을 하여 장애 발생 여부를 알아낼 수 있도록 모니터링 툴을 업그레이드 할 예정입니다. 
  • DB 부하 요소 제거 : 이번 서비스 장애를 통하여 티스토리가 처음 만들어졌을 당시부터 아주 미세하게 발생하였던 DB 부하를 초래하는 요소가 있었으나, 그 범위와 장애 시간이 원인을 규명하기에는 매우 짧거나 어려운 점이 많았습니다. 다만, 이번 장애를 통하여 다량의 실패 요인들을 종합적으로 분석하여 원인 파악에 많은 도움이 되었습니다.


이 밖에 DB 부하 뿐만 아니라, 서비스 이용 상에 불편함을 초래할 수 있는 요인들을 지속적으로 해결하기 위하여 원인과 해결책을 강구하고 있습니다. 늘 변함없이 여러분들에게 최상의 조건에서 블로그 서비스를 이용할 수 있도록 노력하고 있으나, 아직 모자란 모습이 많은 것 같습니다. 늘 좋은 서비스로 보답하기 위하여 늘 최선을 다하는 티스토리가 되기 위하여 최선을 다하겠습니다. 

불편과 심려를 끼쳐드려 다시 한번 티스토리를 이용해주시는 모든 분들께 사과의 말씀과 함께, 늘 포기하지 않으시고 격려와 배려를 해주시는 티스토리 블로거 여러분들께도 진심으로 감사의 말씀 전합니다.

더 많이 노력하겠습니다!



 

저작자 표시 비영리 동일 조건 변경 허락
신고
Posted by TISTORY

댓글을 달아 주세요

  1. 이전 댓글 더보기
  2. 업로드 안되는 문제는 해결 안됩니까?

  3. 비밀댓글입니다

  4. 고생많으셨어요 이렇게 공개하신것도 대단한 용기같구요 박수를 보냅니다 더 믿음도 가구요 ^^ 화이팅입니다 ^^

  5. 티스토리 블로그를 본격적으로 이용할 블로거입니다~^^ 아주 잘 알고 있는 것은 아니지만 html과 css를 조금은 다룰줄 알기에 티스토리의 특징이 가장 맘에 듭니다.(타 블로그와 다른 특별한 매력이죠) 하지만 일일히 수정하는 것은 대대적인(?) 개편때나 스킨등을 수정할 때는 명령어를 치면서 바꾸겠지만 그 외 자잘한 것들은 하기가 번거로운게 있죠~ 그래서 스킨위자드 기능이 있어서 좋지만 이러한 형식으로 메뉴위치를 바꾸거나 기타 아이콘 등을 쉽게 바꿀 수 있는 기능을 스킨 위자드처럼 해놓으면 어떨까 하는 생각이 드네요~

  6. 더욱더 좋은 서비스를 제공하기 위해서는 거쳐야 할 과정이라고 생각됩니다.
    저는 이런 좋은 블로그 서비스를 제공해주는 것만으로도 감사합니다.
    신속한 공지와 대처를 해주셔서 사용에 차질이 별로 없네요.

  7. 괜찮습니다. 비온뒤에 땅이 굳는다고 하지 않았습니까. 화이팅입니다. :-)

  8. 늘 대처가 빠르신 수고하시는 분들. 그러나 그것에 머무르면 다른 포털 블로그 사이트나 다를바 없게 됩니다 화이팅입니다.!!

  9. 비밀댓글입니다

    • 스패머들이 교묘하게 초대장을 배포하여 돌려쓰는 것 같아 추적중입니다. 조만간 로직을 정비하여 다시 나누어드릴려고 합니다. 오랫동안 초대장을 배포하지 못하여 안타깝네요. ㅠ_ㅠ

  10. 갑자기 2차도메인 연결이 안되는데.. 여기 문제랑 상관이 있는걸까요 -ㅅ-

  11. 잘못을 시인하고 공개하고 고쳐나가려는 모습이 보기 좋고 저도 힘이 되어드리고 싶네요~
    그렇지만 그런면과 더불어 좀 더 다양한 유저들의 요구도 들어주시면 좋겠어요~
    여하튼, 화이팅입니다요~!!

  12. 괜찮아요^^ 뭐 실수할수도 있죠. 사람이 다 완벽하진 않잖아요.
    앞으로 더 잘하시면 돼죠. 앞으로 더 열심히 합시다. 화이팅!

  13. 늘 수고하십니다.^^
    힘내세요.

  14. 무슨 이유에서 장애가 있었는지 자세히 알려주셔서 감사합니다.
    이런이유도 알려주지 않은채 그냥 접속장애가 자주나는 타사이트에 비교하면 정말 고맙죠.^^

  15. 비밀댓글입니다

  16. 전 몰랐어용 ㅋㅋㅋ수고많으세영!

  17. 유입경로랑 검색어 기능 다른분들 되나요?? 저만 안되는건가요??

    • 관리자에서 설정하는 필터 중 'IP 필터링'과 '사이트 필터링'은 유입경로에 대한 필터로도 쓰입니다.

      회원님께서 현재 '사이트 필터링'에 www,http 를 넣으셔서 거의 모든 유입경로가 차단되고 있습니다. ^^;;

      또한 http, www 가 들어있는 주소를 가진 블로거는 댓글과 트랙백을 달 수 없구요..(모든 블로그 일 것 같네요;;)

      사이트 필터링에서 http, www를 삭제해 주셔야 할 것 같네요~^^

    • 저도 지금 유경로에 로그가 안쌓이고 있는거 같아요..
      참고로 스펨필터링 기능은 사용하고 있지 않습니다.

    • 마벨야그 님은 블로그를 확인해보니 유입경로가 정상으로 쌓이고 있습니다. 다만 유입경로를 통계내는 작업은 부하가 큰 작업이라 매번 업데이트 하지 않고 일정 시간 캐쉬를 두고 있습니다. 약 하루 정도의 시간을 두고 다시 확인해 보시기 바랍니다.^^

  18. 그런기능이 있었군요.. 저는 한적이 없는데 언제 그런게 되어있는건지..ㄷㄷㄷ;
    그런데 유입경로가 차단되어있는 상태에서도 일 방문자가 2천이 넘던데 무슨이유죠??로그만 안남고 유입되는거에는 문제가 없었던건가요?

    • 유입경로를 차단한다는 이야기는 유입경로(레퍼러)를 보여주는 것을 막는다는 이야기입니다. 제가 설명이 부족했군요..^^;

      이는 유입경로 스팸을 막기 위함입니다. 유입경로 스팸은 타겟 블로그에 자신이 홍보하려는 URL을 레퍼러로 많은 요청을 보냅니다.
      블로그 관리자는 통계화면 등을 이용하여 특정 URL에서 많은 유입이 있는 것을 보고 해당 페이지를 방문하게 됩니다. (일종의 낚시입니다.)

      이를 막기위해서는 스팸필터 항목에 이 URL을 넣으면 그 유입경로는 저장하지 않습니다. 그러나 해당 사이트를 유입경로로 달고 들어온다고 해서 요청을 막는 것은 아닙니다. ^^

  19. 잘못을 먼저 밝히는 모습이 더 정감이 갑니다. 어떤 곳은 아예 회원의 댓글을 지나가는 개짖듯 하는 곳도 있는데... ...
    티스토리 노고에 감사감사. 앞으로도 좋은 이벤트, 기능들을 보여주세요^0^

  20. 비밀댓글입니다

  21. 화이팅입니다... 티스토리 사랑합니다. ^^



티스토리 툴바