WiFi in High Density

Wilco Baan HofmanNikhef

Nikhef

● Samenwerking FOM/NWO, UU, VU, UvA, RU, RUG● Nederlandse afvaardiging naar CERN, Tier 1 site,

experimenten: ALICE, ATLAS, LHCb● Detector R&D● Astrodeeltjesfysica: Donkere materie (XENON), Kosmische

stralen (HiSparc, Auger), Neutrinotelescopen (ANTARES, km3net) en Zwaartekrachtgolven (Advanced Virgo en LIGO-Virgo collaboratie)

LHC, ATLAS detector

KM3net, neutrinotelescopen

Virgo, zwaartekrachtgolven

Nikhef

● Grid computing, ter ondersteuning van algemene wetenschap: astrofysica, deeltjesfysica, humanities, social sciences life sciences, etc

● Worldwide LHC computing grid; extra focus op security operations voor Europa en ontwikkeling van security middleware: federatieve authenticatie

● Housing van (deel van) AMS-IX

Nikhef grid

Nikhef netwerken

● Netwerk operations Nikhef-deel LHCOPN en LHCOne● Grid netwerk, 100Gbps SURFsara, 100Gbps SURFnet,

240Gbps storage backbone ● WiFi netwerk voor collegezalen; conferenties

Over mijzelf● Wilco Baan Hofman● Networking / Security / Consulting / Programming / Ops● Conferentienetwerken:

– Hack in the Box Ams / Kuala Lumpur / Singapore 2012-

– Eth0 2012-

– Computing in High Energy Physics 2013

– OHM2013

– Chaos Communication Congress 2013-

– Technology in Particle Physics 2014

– Chaos Communication Camp 2015-

– FOSDEM 2016-

– EMFcamp 2016-

– ...

● Security: Alarmsystemen hack, 2013● Programming: Samba tot 2010, reverse engineering● Consulting: Migraties, nieuwe systemen (storage, linux clusters, active directory, etc)● Co-founder Hackerspace Bitlair, Amersfoort

Netwerkeisen

● IPv6 verplicht– Zonder IPv6 zijn een grote hoeveelheid hosts onbereikbaar

– Dit aantal groeit exponentieel, met Belgie 60% deployment

● Roamen door een heel gebouw● Tunnel naar centrale controllers, vergeet controllerless:

– 8000 MAC limit in switches, VLAN stretchen naar access points schaalt niet!

● Controller direct aan een core router: genoeg neighbour en MAC entries● 1Mbps per gebruiker aan bandbreedte in piek

– 8000 users op de WiFi: 8Gbps verbinding

– Grote collegezalen geen uitzondering!

– Normale piek is 0.5Mbps per client

● Rogue DHCP / Router advertisement filtering

Chaos Communication Congress13500 ppl, >8k assoc, 145 APs

Overhead = airtime

● Plan voor zo min mogelijk overhead:– Gemeten in airtime (% gebruik van het kanaal in tijd)

– 20MHz channels! Geen 40MHz of 80MHz!

– Data rates t/m 11Mbps uit● Management frames/multicast/broadcast op laagste data rate verstuurd

– Limiteer aantal ESSIDs● 1Mbps data rate, 4 ESSIDs, 2 APs in elkaars bereik op zelfde kanaal:

25.8% van kanaal bezet aan beacons

– Plan voor max 60 man per radio, dus 120 man per AP

– 4 channel plan op 2.4GHz, alle 19 kanalen op 5GHz benutten!

– Gebruik automatische kanaaltoewijzing, behalve in grote zalen● Controleer dat er access points geen overlappende kanalen gebruiken in 1 ruimte

Clients per kanaal

Hack in the Box Kuala Lumpur

Gebruikers naar 5GHz

● Beschikbaar: 4 kanalen op 2.4GHz, 19 op 5GHz● Geen legacy band steering of load balancing! Zorgt voor issues op Apple

en Linux– Ook op Windows inefficient

– Apart SSID op 5GHz en 2.4GHz waar mogelijk● Niet op eduroam dus

– 802.11v BSS Transition Management !! Supported door 75% clients! Top!● Vraag beleefd aan de client om naar een andere radio te roamen● Werkt op eduroam!● Maar sommige implementaties koppelen dit aan legacy gedrag bij geen support! Foei!

Band steering / load balancing

802.11v-2011 BTM

1 VLAN voor roamen

● 1 VLAN voor alle gebruikers in 1 gebouw– Bij roaming geen nieuwe DHCP-handshake: dus zelfde VLAN

– 12000 man in 1 VLAN● VLAN pooling helpt niet: alle VLANs op ieder AP = evenveel broadcast traffic

– Client isolation geen optie in academisch netwerk● Met de hele wereld praten behalve met de buurman?

– Broadcast filtering een absolute MUST● Breekt IP neighbour discovery (NDP, legacy ARP)

– Vertaal ARP en NDP incl router advertisements naar unicast● Dummy VLAN-pool aanmaken in Aruba! Geen setting meer voor :(

– On-link niet adverteren in router advertisements!● Breekt clients die niet veel neighbors ondersteunen● Traffic gaat via de router

ProxyNDP, ProxyARP

● Voorkom verlies van airtime met ProxyNDP, ProxyARP– Controller geeft antwoord namens clients, NDP en ARP wordt eenmalig verstuurd door de

lucht

– Verplicht met broadcast filtering!!

– Werkt alleen goed op Aruba en Cisco – (Ruckus getest 2014, Aerohive dec 2015, Meraki 2015, OpenWRT 2016, Ubiquiti 2016, HP/Colubris MSM 2014, Juniper

2015, Meru.. vergeet meru)

– Juniper/Trapeze (nu EOL) werkte goed met IPv4, geen IPv6 support

– Cisco alleen in combinatie met DHCP relay

– Veelgemaakte fout: Onbekend ARP/NDP alsnog sturen naar alle clients

– Veelgemaakte fout: Geen implementatie voor IPv6, broadcast filtering filtert dan IPv6 neighbour discovery

ProxyNDP, ProxyARP

Grote zalen

● Beacon interval op 2.4GHz: 100ms -> 300ms● Zaal met 3000 man:

– 19 APs, op 5GHz allemaal 1 uniek kanaal

– Bij grote zaal: 2.4GHz aan op 4 APs voorin en 4 achterin, 2.4GHz uit op 11 APs

– Bij kleinere zalen: 2.4GHz uit op alles behalve 4 APs

● Gebruik goede 802.11ac access points (in 20MHz mode!!!)– Aruba AP-225 zeer geschikt

– 802.11ac heeft betere hidden node mitigatie

– Vooral Marvell chipset (Cisco) last van false radar detection in high density

– Atheros heeft ook last, wel minder (o.a. Aruba AP-3xx, aerohive, etc)

– MU-MIMO scheelt ook airtime, clients kunnen gecoordineerd gelijktijden zenden

● Cisco extensions als DTPC uitschakelen! – Instrueert clients om rond 0dBm te zenden, veroorzaakt hidden node en connectieproblemen!

False radar detections

Monitor airtime

Monitor throughput

Monitor associations