Fastnetmon+influxdb+grafana搭建流量可视化

最近公司更换了新的交换机，乘着这个时候，顺便把Internet流量分析给做了。

之前的流量分析是很古老的mtrg，基本无法自定义，而且通过一台物理机去抓包，没有虚拟化着实浪费。

        通过一阵research，cisco的网络设备都支持netflow，来分级和诊断网络流量。netflow协议是cisco提出的，直接将流量结果发送给收集设备，省去了抓包的环节。 这样不需要占用额外的物理网卡，而且cpu的开销也会降低很多。

        确定了方向，那么开始在互联网上寻找开源netflow分析方案。做得比较好的是ntopng和fastnetmon。

        这两个开源方案都有免费社区版和付费版，都有尝试搭建。

        ntopng自带web界面，功能非常多，但我们目前只需要做流量top的功能，ntopng的功能太复杂，而且流量分析结果需要付费版才用得好。

        fastnetmon的免费版连web界面都有没，但是支持graphite和grafana，虽然功能简陋，但系统开销也少，而且相关的资源也比较多，可自定义的设定比较多。

        接下来就是开始搭建环境和网络配置

        目标是分析Internet流量的使用状况，可以直接在router上做net flow，也可以在core switch上对连接router的port做，这里选择在switch上将连接router的port上做net flow

        根据cisco的netflow v9说明，需要配置flow record、flow exporter和flow monitor。

        首先新建flow record。

        en

        config terminal

    

        创建input方向的record

        flow record ct50m-record-input

        Description Internet Netflow Input Record

        match datalink vlan input

        match datalink mac source address input

        match datalink mac destination address input

        match ipv4 tos

        match ipv4 ttl

        match ipv4 protocol

        match ipv4 source address

        match ipv4 destination address

        match transport source-port

        match transport destination-port

        match interface input

        match flow direction

        match flow cts source group-tag

        match flow cts destination group-tag

        collect transport tcp flags

        collect interface input

        collect counter bytes long

        collect counter packets long

        collect timestamp absolute first

        collect timestamp absolute last

        

        

        创建output方向的record

        flow record ct50m-record-output

        Description Internet Netflow Output Record

        match datalink mac destination address output

        match ipv4 tos

        match ipv4 ttl

        match ipv4 protocol

        match ipv4 source address

        match ipv4 destination address

        match transport source-port

        match transport destination-port

        match interface output

        match flow direction

        match flow cts source group-tag

        match flow cts destination group-tag

        match datalink vlan output

        collect transport tcp flags

        collect interface output

        collect counter bytes long

        collect counter packets long

        collect timestamp absolute first

        collect timestamp absolute last

        

        然后创建flow exporter，这里填写分析net flow服务的ip和端口，以及vlan。

        flow exporter ct50m-exporter

        destination xx.xx.xx.xx

        transport udp 2055

        source vlan x   

        接下来创建flow monitor，每个monitor只能对应一个flow record，需要创建两个flow monitor。

         flow monitor ct50m-monitor-input

        flow record ct50m-record-input

        flow exporter ct50m-exporter    

        

        创建第二个flow monitor

        flow monitor ct50m-monitor-output

        flow record ct50m-record-output

        flow exporter ct50m-exporter        

        这样record、exporter和monitor都创建完后，在需要监控的端口套用monitor

        interface g x/0/x

        flow monitor ct50m-monitor-input

        flow monitor ct50m-monitor-output

        至此，交换机上的配置完成，开始搭建fastnetmon的环境。

        先起一台虚拟机，安装fastnetmon的说明，最少4cpu、8G内存和50G硬盘空间，并分配网络地址。

        这里使用ubuntu 20.04 lts。

        安装完后配置国内repo地址

        sudo cp /etc/apt/sources.list    /etc/apt/sources.list.bak

        sudo nano /etc/apt/sources.list

        #网易源

        deb http://mirrors.163.com/ubuntu/ focal main restricted universe multiverse

        deb-src http://mirrors.163.com/ubuntu/ focal main restricted universe multiverse

        deb http://mirrors.163.com/ubuntu/ focal-security main restricted universe multiverse

        deb-src http://mirrors.163.com/ubuntu/ focal-security main restricted universe multiverse

        deb http://mirrors.163.com/ubuntu/ focal-updates main restricted universe multiverse

        deb-src http://mirrors.163.com/ubuntu/ focal-updates main restricted universe multiverse

        deb http://mirrors.163.com/ubuntu/ focal-backports main restricted universe multiverse

        deb-src http://mirrors.163.com/ubuntu/ focal-backports main restricted universe multiverse  

        执行更新

        sudo apt-get update && sudo apt-get upgrade -y

        

        使用Asia/Shanghai这个timezone

        sudo timedatectl set-timezone Asia/Shanghai

        

        因为使用pve安装系统，安装qemu-guest-agent可以在pve里查看更多的vm信息。

        sudo apt-get install qemu-guest-agent        

        关闭vm，在pve的选项里，将QEMU guest agent启用，这个默认是关闭的。

        Vm启动后就可以看到网络信息。

        使用apt-fast 提升下载速度的软件，安装软件时，通过增加线程使下载软件速度加快。

        sudo add-apt-repository ppa:apt-fast/stable

        sudo apt-get install apt-fast -y

        

        先添加apt-fast的安装源 然后安装。在出现的GUI画面依此选择替换apt-get， 设置最大16线程，到这一步就安装好了。

        配置完后开始安装fastnetmon社区版

        wget https://install.fastnetmon.com/installer -Oinstaller

        sudo chmod +x installer

        sudo ./installer -install_community_edition

        接下来编辑/etc/fastnetmon.conf配置

        开启subnet统计、配置netflow和graphite数据库

        enable_subnet_counters = on

        netflow = on

        netflow_port = 2055

        netflow_host = 0.0.0.0

        # Please use only IP because domain names are not allowed here

        graphite_host = 127.0.0.1

        graphite_port = 2003

        # Default namespace for Graphite data

        graphite_prefix = fastnetmon

        

        编辑/etc/networks_list，将需要监控的网段填入。

        10.x.x.0/24

        10.x.x.0/24    

        编辑/etc/networks_whitelist，将排除网段填入。

        10.x.x.0/24

        10.x.x.0/24

        重启fastnetmon服务

        sudo service fastnetmon restart

        

        查看fastnetmon的运行状况

        fastnetmon_client

        接下来安装和配置influxdb

        fastnetmon只支持influxdb 1.x，根据influxdb的说明进行安装influxdb1.8 oss installation。

        wget https://dl.influxdata.com/influxdb/releases/influxdb_1.8.7_amd64.deb

        sudo dpkg -i influxdb_1.8.7_amd64.deb

        

        编辑influxdb，增加graphite支持。

        sudo nano /etc/influxdb/influxdb.conf

        增加以下配置

        [[graphite]]

          enabled = true

          bind-address = ":2003"

          protocol = "tcp"

          consistency-level = "one"

          separator = "."

          batch-size = 5000 # will flush if this many points get buffered

          batch-timeout = "1s" # will flush at least this often even if we haven't hit buffer limit

          templates = [

            "fastnetmon.hosts.* app.measurement.cidr.direction.function.resource",

            "fastnetmon.networks.* app.measurement.cidr.direction.resource",

           "fastnetmon.total.* app.measurement.direction.resource"

          ]

        重启influxdb和fastnetmon

        systemctl restart influxdb

        systemctl restart fastnetmon

        查看influxdb是否有创建graphite数据

        influx

        > use graphite

        Using database graphite

        > show measurements

        name: measurements

        ------------------

        hosts

        networks

        total

        >

        接下来安装社区版grafana

        sudo apt-get install -y apt-transport-https

        sudo apt-get install -y software-properties-common wget

        wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -

        echo "deb https://packages.grafana.com/oss/deb beta main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

        sudo apt-get update

        sudo apt-get install grafana

        开启grafana服务

        sudo service grafana-server start

        用浏览器访问http://ip:3000/即可访问grafana

        默认账号密码admin:admin，第一次登陆需要修改密码

        进去后在configuration里点击data sources，选中influxdb

        url内填写    http://127.0.0.1:8086

        database填写    graphite

        点击save&test完成grafana datasource的配置

        然后去这里添加fastnetmon的dashboardgrafana_dashboards