จากการ Monitor ทีมงานไม่พบปัญหาใดๆเพิ่มเติมจากเหตุการณ์ดังกล่าว โดยทีมงานจะทำการประสานงานกับทางผู้ให้บริการ เพื่อหาทางป้องกันปัญหาดังกล่าวเพิ่มเติมต่อไปครับ

ทีมงานตรวจพบการ DDOS เข้ามาอีกครั้งด้วยรูปแบบการโจมตีเดิม โดยพบว่ายังคงมีการ Congestion ใน Route ที่เชื่อมต่อกับทางผู้ให้บริการ True Online

https://bin.holfz.me/LUV_TOWN/0a62e898-090a-4f13-9a6b-d980adeec2a8.png

อนึ่ง การแก้ปัญหาที่อยู่เหนือการควบคุม (ไม่ได้เกิดขึ้นจากระบบ หรือ Service ของ LUV TOWN) เนื่องจากปัญหานี้อยู่ที่เส้นทางที่ผู้ใช้อินเตอร์เน็ต True Online เชื่อมต่อกับทาง Data Center

ทีมงานจะทำการประสานงานกับทาง Data Center เพื่อหาทางแก้ไขเพิ่มเติมสำหรับ Route ที่มีการ Congested ดังกล่าว โดยไม่อาจประเมินได้ว่าจะได้รับการแก้ไขหรือไม่ และยังต้องขออภัยมาใน ณ ที่นี้เป็นอย่างสูงสำหรับปัญหาดังกล่าวครับ

จากการตรวจสอบกับทางผู้ให้บริการ คาดว่าเนื่องจาก Traffic DDOS ดังกล่าวอาจจะส่งผลให้เกิด Congestion ในบาง Route ที่เชื่อมต่อกับ Distribution Switch ดังกล่าว โดยไม่ใช่ปัญหาที่ Bandwidth ที่พร้อมให้บริการมีไม่มากพอ (จากการตรวจสอบ เริ่มต้นโดยกระทบกับ Route ที่เชื่อมกับทางผู้ให้บริการ True Online เป็นอันดับแรก)

และการเกิด Congestion จะส่งผลให้เกิด Packet Loss ซึ่งโดยปกติแล้วตัว Netcode ของ FiveM และตัวเซิร์ฟเวอร์ของ FiveM จะทำการ Resent Packet จนกว่าปลายทางจะได้รับข้อมูลและส่ง Packet Ack กลับมายังต้นทาง

จึงส่งผลให้ svNetwork ของเซิร์ฟเวอร์ LUV TOWN ทำงานหนักจนถึงจุดที่ไม่สามารถรับส่งข้อมูลเพิ่มเติมได้อีก เป็นสาเหตุที่ทำให้ผู้เล่นเกือบทุกท่านหลุดออกจากเซิร์ฟเวอร์ในเวลาดังกล่าวที่มีการ DDOS เข้ามายังผู้ใช้รายอื่นที่อยู่ภายใต้ผู้ให้บริการเดียวกัน

ทีมงานกำลังทำการ Monitor เพิ่มเติม เพื่อตรวจสอบและป้องกันปัญหาต่อไป และต้องขออภัยมาใน ณ ที่นี้เป็นอย่างสูงอีกครั้งสำหรับปัญหาดังกล่าวครับ

Engineer On-Call แจ้งว่าตรวจพบการ DDOS (Distributed Denial of Service) เป็นประมาณมาก (โดยประมาณ ~91.61 Gbps ถึง ~146.00 Gbps) มายัง Distribution Switch ที่ทางผู้ให้บริการเชื่อมต่อกับทาง IDC โดยการโจมตีดังกล่าวไม่ได้พุ่งเป้ามาที่ LUV TOWN โดยตรง

https://bin.holfz.me/LUV_TOWN/074d99ac-7497-4ec4-8936-4113c0191c39.png
https://bin.holfz.me/LUV_TOWN/5f2391b4-ad17-4514-8c8f-c4cb862bedfd.png

ทีมงาน LUV TOWN กำลังทำงานร่วมกับผู้ให้บริการ ซึ่งอยู่ในระหว่างการตรวจสอบสาเหตุที่ LUV TOWN ได้รับผลกระทบไปด้วย และขออภัยมาใน ณ ที่นี้เป็นอย่างสูงครับ

ทีมงานกำลังตรวจสอบปัญหา Network ที่ทำให้ผู้เล่นหลุดออกจากเซิร์ฟเวอร์

จากการ Monitor ทีมงานไม่พบ Packet Loss เพิ่มเติมในส่วนของ LDR ทีมงานจึงขอปิด Incident และขออภัยในความไม่สะดวก และขอบคุณผู้เล่นทุกท่านครับ 🩵

ทาง Data Center ได้ทำการแก้ไขปัญหา Packet Loss ดังกล่าวแล้ว โดย LDR ได้ถูกปรับ Route เพื่อหลีกเลี่ยงไม่ให้ Traffic จากต่างประเทศวิ่งไปยัง Internation IX ที่มีปัญหาดังกล่าว

ทีมงาน LUV TOWN ได้ทำการ Cross-Check กับระบบ Monitor ภายใน และไม่พบ Packet Loss เป็นช่วงๆแล้ว และทีมงานกำลัง Monitor อย่างใกล้ชิดเพื่อดูปัญหาที่อาจจะเกิดขึ้นเพิ่มเติมต่อไปครับ

ทาง Data Center ได้ทำการปรับ Route เพื่อหลีกเลี่ยงไม่ให้ Traffic จากต่างประเทศวิ่งไปยัง Internation IX ที่มีปัญหาแล้ว อย่างไรก็ตามทีมงานยังพบว่ามี Packet Loss ที่ Merge Edge ของ Singapore 2 เป็นช่วงๆ

โดยทีมงานได้ทำการแจ้งข้อมูลดังกล่าวไปยัง Data Center แล้ว และอยู่ในระหว่างการตรวจสอบและหาทางแก้ไขเบื้องต้นเพิ่มเติมครับ

ทีมงานได้รับแจ้งจาก Data Center ว่าตรวจพบ Dark Fiber ของลิงก์ International IX ฝั่งผู้ให้บริการ TH-IX และ AIS-IIG ขาดพร้อมกัน ส่งผลให้ผู้เล่นจากต่างประเทศอาจพบปัญหา Packet Loss สูงผิดปกติเป็นช่วงๆ

โดยหากผู้เล่นได้เชื่อมต่อผ่าน LDR จะถูกสลับเส้นทางอัตโนมัติระหว่าง Singapore 1 (Primary: True-IIG) และ Singapore 2 (Primary: AIS-IIG) เพื่อบรรเทาปัญหาในลักษณะนี้ แต่เนื่องจากครั้งนี้ลิงก์ TH-IX และ AIS-IIG ขาดพร้อมกัน ผู้เล่นที่ใช้ LDR จึงอาจได้รับผลกระทบเช่นกัน

ขณะนี้ปัญหาอยู่ระหว่างการแก้ไข ทีมงาน LUV TOWN กำลังติดตามสถานการณ์อย่างใกล้ชิด และจะแจ้งความคืบหน้าให้ทราบต่อไปครับ 🩵

* Not To Be Confused With: https://status.luv.in.th/history/inci_j3hl8tJVCg5utj (Domestic)

ทีมงานตรวจพบ DDOS Traffic ในแบบเดียวกันและไม่พบผลกระทบหลังจากการแก้ไข ทีมงานจึงขอปิด Incident และขออภัยในความไม่สะดวก และขอบคุณผู้เล่นทุกท่านครับ 🩵

เพื่อป้องกันปัญหาดังกล่าวที่จะเกิดขึ้นในอนาคต ทางทีมงานได้ร่วมหารือกับทางผู้ให้บริการ โดยได้มีการปรับ Route Network เพิ่มเติมจากเมื่อคืนที่มีการแก้ไขไป

โดยทีมงานกำลัง Monitor อย่างใกล้ชิดเพื่อดูปัญหาที่อาจจะเกิดขึ้นเพิ่มเติมต่อไปครับ

ทางผู้ให้บริการเซิร์ฟเวอร์ได้ทำการแจ้งมายังทีมงาน LUV TOWN เนื่องจากพบว่ามีการ DDOS Traffic จำนวนมาก (ยังไม่สามารถระบุขนาด Bandwidth ได้) เข้ามายัง Core Router ที่เซิร์ฟเวอร์ LUV TOWN เชื่อมต่ออยู่ในช่วง 11:40 น. (ตามเวลาประเทศไทย)

โดยเซิร์ฟเวอร์ที่ถูกโจมตีไม่ใช่เซิร์ฟเวอร์ของ LUV TOWN แต่เนื่องจากอยู่ภายใต้ Core Router เดียวกัน จึงทำให้ได้รับผลกระทบไปด้วย

โดยทีมงานกำลังประสานงานกับผู้ให้บริการเซิร์ฟเวอร์และผู้ให้บริการ Internet ดังกล่าวเพื่อแก้ไขปัญหาครับ
ทีมงานขออภัยในความไม่สะดวก และขอบคุณผู้เล่นทุกท่านครับ 🩵

จากการ Monitor ไม่พบปัญหาใดที่เกิดขึ้นเพิ่มเติมจาก Incident ดังกล่าว ทีมงานจึงขอปิด Incident และขออภัยในความไม่สะดวก และขอบคุณผู้เล่นทุกท่านครับ 🩵

ทางผู้ให้บริการได้แจ้งมายังทีมงานว่าทำการแก้ไขเรียบร้อยแล้ว โดยทีมงานกำลัง Monitor เพื่อดูปัญหาที่อาจจะเกิดขึ้นเพิ่มเติมต่อไป

จากการตรวจสอบกับทางผู้ให้บริการเซิร์ฟเวอร์ ทีมงานพบว่ามีการ DDOS Traffic จำนวนมากประมาณ 120GB/s เข้ามายัง Core Router ที่เซิร์ฟเวอร์ LUV TOWN เชื่อมต่ออยู่ในช่วง 19:55 น. (ตามเวลาประเทศไทย) ส่งผลให้ถูก Firewall ของทางผู้ให้บริการเซิร์ฟเวอร์กรองออกตามปกติ

แต่เนื่องด้วยผู้ให้บริการ Internet ดังกล่าว (AIS) มีการใช้งาน CGNAT ซึ่งจะมีโอกาสที่จะมีการจัดสรร IP Address เดียวกันกับผู้ใช้งานอื่นที่ติดไวรัสที่ทำให้คอมพิวเตอร์ของผู้ใช้งานดังกล่าวเป็น Botnet เพื่อทำการ Flood Packet มายัง Core Router ดังกล่าว จากนั้น IP Address ดังกล่าวจึงถูก Firewall กรองออก

โดยทีมงานกำลังประสานงานกับผู้ให้บริการเซิร์ฟเวอร์และผู้ให้บริการ Internet ดังกล่าวเพื่อแก้ไขปัญหาครับ

ทีมงานขออภัยในความไม่สะดวก และขอบคุณผู้เล่นทุกท่านครับ 🩵

ทีมงานกำลังตรวจสอบปัญหา Network ซึ่งส่งผลให้ผู้เล่นบางท่านที่ใช้งาน Internet จากผู้ให้บริการ AIS ไม่สามารถเชื่อมต่อเข้าสู่เซิร์ฟเวอร์ได้