Send us something, Share your comments directly :)

This episode covers AI Datacenter News from a Network & Infrastructure perspective. We break down why power delivery and interconnect are becoming the dominant constraints, and how hyperscalers are increasingly pursuing Non‑NVIDIA approaches (e.g., Trainium and TPU) to reduce dependency and improve efficiency at scale.

Topics include the “AI Factories” concept (datacenters producing tokens, not just storing data), the reality of gigawatt-scale training, distributed datacenter ambitions and distance/latency tradeoffs, and the growing Gulf momentum: UAE (Khazna / Stargate) and Saudi (HUMAIN + AirTrunk).

Follow Us: https://www.linkedin.com/in/telco-bytes
https://www.linkedin.com/in/ledeeb
https://www.linkedin.com/in/bassem-aly

Follow us on

Apple Podcast
Google Podcast
YouTube Channel
Spotify

Send us something, Share your comments directly :)

The Datacenter in the GenAI Era: What Changed?

In this episode of TelcoBytes Arabic, we tackle the fundamental question: Why do we need AI-Ready Data Centers, and what has fundamentally changed in the GenAI era?

We explore this question through three distinct perspectives:

━━━━━━━━━━━━━━━━━━━━

PERSPECTIVE 1: Traditional vs AI Workloads

We compare E-commerce architectures (like Amazon) with AI Training Clusters to understand the fundamental shift:

- Traditional Datacenters: Loosely coupled microservices that scale independently
- AI Clusters: Tightly coupled systems where 100,000 to 1,000,000 GPUs must work as a single unit
- Scale difference: From thousands of servers to millions of GPUs
- Performance metrics: Transactions per Second vs PetaFLOPS

━━━━━━━━━━━━━━━━━━━━

PERSPECTIVE 2: Network Challenges in the AI Era

The Surprising Reality: Approximately 2/3 of Job Completion Time in AI Training is wasted on the Network!

Key Challenges Discussed:

TAIL LATENCY PROBLEM
- How the slowest single frame can stall millions of GPUs
- The Butterfly Effect: 1-2 millisecond delay can cause hours of training delay
- Synchronization barriers where all GPUs wait for the slowest one

GO-BACK-N PROTOCOL
- Why AI uses RDMA over Converged Ethernet (RoCE)
- Packet loss catastrophe: Much worse than latency
- How Go-Back-N retransmits entire windows when one frame is lost

ELEPHANT FLOWS
- Few massive flows (Terabytes) vs many small flows
- Low entropy in traffic headers
- Traffic polarization: All traffic on one link while others remain idle

INCAST PROBLEM
- Many-to-one communication patterns
- Congestion hotspots in the fabric
- Buffer overflow even with deep buffers

━━━━━━━━━━━━━━━━━━━━

PERSPECTIVE 3: Power & Cooling Implications

How AI infrastructure requirements transform datacenter design:
- Significantly higher power density
- New cooling requirements
- Time-to-market vs cost trade-offs

━━━━━━━━━━━━━━━━━━━━

KEY TAKEAWAY

The Network isn't just a connection between servers—it's the true Backbone and Nervous System of AI Data Centers. That's why NVIDIA calls it the "AI Backbone": without optimized networking, even the most powerful GPUs cannot operate efficiently.

All these challenges have solutions, which we'll explore in detail in upcoming episodes!

━━━━━━━━━━━━━━━━━━━━

TOPICS COVERED

AI-Ready Datacenter | GenAI Infrastructure | Network Architecture | GPU Training | Traditional vs AI Workloads | Tail Latency | Job Completion Time | Go-Back-N Protocol | RDMA | RoCE | Elephant Flows | Traffic Polarization | Incast Problem | ECMP Hashing | All-to-All Communication | NCCL | Collective Operations | Deep Learning Infrastructure | Spine-Leaf Architecture | Data Center Networking

━━━━━━━━━━━━━━━━━━━━

FOLLOW US

TelcoBytes: https://www.linkedin.com/in/telco-bytes
Mohamed Ledeeb: https://www.linkedin.com/in/ledeeb
Bassem Aly: https://www.linkedin.com/in/bassem-aly

#AIDataCenter #GenAI #NetworkArchitecture #DeepLearning #GPUTraining #DataCenterNetworking #InfrastructureEngineering

Follow us on

Apple Podcast
Google Podcast
YouTube Channel
Spotify

Send us something, Share your comments directly :)

اهلا في أولى حلقات سلسه عالم مراكز البيانات الجاهزة للذكاء الاصطناعي – AI Ready Data Centers
قبل ما نتكلم عن تصميم الشبكات، الـ fabrics، والـ interconnects، لازم نفهم الأساس:
ليه الـ GPU أهم من الـ CPU في عالم ال AI؟
وإزاي بيحصل الـ Training جوا الـ Deep Neural Networks؟
وليه الشركات كلها بتجري تبني Data Centers مخصوصة للذكاء الاصطناعي AI؟
في الحلقة دي هنشرح المفاهيم دي بطريقة بسيطة وسلسة،
من قصة Colossus لإيلون ماسك وال500 ألف GPU واللي بتبرز السباق المحموم لبناء ال AI-DCs،
إلى مفاهيم زي الـ FLOPS والـ Precision،
وشرح عملي لشبكات ال Neural Networks خطوة بخطوة واللي بتعتبر اساس ثوره ال AI الحديثه.


في الحلقة دي هتتعلم:
ليه الـ GPUs قلب ثورة الذكاء الاصطناعي
الفرق بين AI / ML / DL بطريقة بسيطة
إزاي بيتم تدريب النماذج خطوة بخطوة كاساسيات لأي مهندس شبكات أو مهتم ببنية الـ AI

🎧 اسمع الحلقة وادعمنا بالاشتراك 🔔
💬 قول لنا في الكومنتس:
عايزنا نتكلم أكتر في أي جزء المرة الجاية؟


📢 تابعنا على لينكدإن لمزيد من الحلقات والنقاشات التقنية:
https://www.linkedin.com/in/telco-bytes

https://www.linkedin.com/in/ledeeb

https://www.linkedin.com/in/bassem-aly

#TelcoBytes_بالعربي | #AIReadyDataCenter

Follow us on

Apple Podcast
Google Podcast
YouTube Channel
Spotify

أولاً، لازم نقولكم إنكم وحشتونا جداً!

إحنا رجعنا تاني، والمرة دي بموضوع هو "حديث الساعة" في مجالنا: الـ AI-Ready Datacenter

كلنا شايفين طفرة الـ AI، لكن إيه اللي بيحصل في "المطبخ" عشان كل ده يشتغل؟ إيه اللي محتاج يتغير في الداتا سنتر بتاعتنا عشان نستحمل الـ Workloads الجديدة دي؟

في الحلقة دي، إحنا مش جايين نتكلم في كلام نظري. إحنا هنمسك الموضوع بشكل عملي جداً وهنجاوب على مجموعة مهمة من الاسئلة. الأسئلة دول هما بالظبط اللي أي حد فينا محتاج إجاباتهم عشان يفهم يعني إيه داتا سنتر جاهزة للـ AI، وإزاي يبتدي يبنيها صح من الألف للياء.

💬 قولنا رأيك:

لو الحلقة عجبتك، متنساش تعمل Subscribe وتفعّل الجرس 🔔 وقولنا في التعليقات: ايه اكتر موضوع او سؤال عايز تعرف اجابته؟

يلا بينا؟

Hosts:

Mohamed Eldeeb
https://www.linkedin.com/in/ledeeb


Bassem Aly
https://www.linkedin.com/in/bassem-aly

Follow us on

Apple Podcast
Google Podcast
YouTube Channel
Spotify

حلقه النهارده بتيجي بالتزامن مع مؤتمر MWC 2023 ...اكبر مؤتمر في العالم للاعلان عن كل ما هو جديد في عالم الشركات المتعلقة بالاتصالات و تقنياتها المختلفة ..في الحلقة ديه هنحاول نغطي جزء بسيط من المؤتمر.... خصوصا الجزء المتعلق بالoperators ول vendors و ال Hyperscalers و اهم الاعلانات المتعلقه بيهم

Hosts:

Mohamed Eldeeb

https://www.linkedin.com/in/ledeeb

Bassem Aly

https://www.linkedin.com/in/bassem-aly

Follow us on

Apple Podcast
Google Podcast
YouTube Channel
Spotify

وفي الجزء التاني من الحلقه هنغطي مجموعه سريعه من الاخبار المتعلقه بال Telco في الفتره اللي فاتت ..هنتكلم عن Orange 5G Commercial launch ورفع اتصالات الامارات لاسهمها في فودافون و دخول دويتش تيليكوم و تليفونيكا وفودافون واورانج مجال ال Ad-Tech

Hosts:

Mohamed Eldeeb
https://www.linkedin.com/in/ledeeb

Bassem Aly
https://www.linkedin.com/in/bassem-aly

Follow us on

Apple Podcast
Google Podcast
YouTube Channel
Spotify

حلقه النهارده بتيجي بالتزامن مع موتمر LEAP 2023 ... الموتمر التقني الأسرع نموا بالمنطقه ..في الحلقة ديه هنحاول نغطي جزء بسيط من المؤتمر.... خصوصا الجزء المتعلق بالoperators ول vendors و اهم الاعلانات المتعلقه بيهم

وفي الجزء التاني من الحلقه هنغطي مجموعه سريعه من الاخبار المتعلقه بال Telco في الفتره اللي فاتت

Hosts:

Mohamed Eldeeb
https://www.linkedin.com/in/ledeeb

Bassem Aly
https://www.linkedin.com/in/bassem-aly

Follow us on

Apple Podcast
Google Podcast
YouTube Channel
Spotify

كل سنه والجميع بالف صحه وخير ... عام جديد و تحديات جديده و اكيد اخبار جديده في الحلقه الرابعه من TelcoBytes بالعربي واللي هنتكلم فيها عن

• فودافون واخبار عن الاستحواذات والاندماجات اللي بتحصل واخبار من عالم الORAN وغيرها
• عالم ال SASE وال MEF 117 Standard والmarket Singe-Vendor SASE واهميه كل ده
• ومعلومات عن ChatGPT والتكنولوجيا اللي بتدعمه ومجموعه من التطبيقات اللي هتوريك هل هو مستاهل الزخم الكبير ده حواليه؟!

وغيرها من الاخبار والتحليلات... نتمنى تكون حلقه مفيدة بإذن الله ..ولو عجبتك الحلقة…. share و subscribe .

مصادر

١-حلقه Understanding SASE/SSE components

https://youtu.be/MYta9yEKits

٢-تقرير جارتنر عن ال single vendor SASE

https://www.gartner.com/doc/reprints?id=1-2BE2MYZL&ct=221012&st=sb&submissionGuid=ce5b1fc2-0b54-471c-a4f1-e31e4f3ebca0

Hosts:

Mohamed Eldeeb
https://www.linkedin.com/in/ledeeb

Bassem Aly
https://www.linkedin.com/in/bassem-aly

Follow us on

Apple Podcast
Google Podcast
YouTube Channel
Spotify