目  录

1 概述

2 安装前的准备工作

2.1 硬件配置需求

2.2 软件配置需求

3 使用Kolla-Ansible部署OpenStack

4 SeerEngine-DC预配置

5 安装过程

5.1 安装基础环境

5.2 安装/升级SeerEngine-DC Neutron插件

5.2.1 安装SeerEngine-DC Neutron插件

5.2.2 升级SeerEngine-DC Neutron插件

6 扩展功能

6.1 配置网络节点的Metadata服务

7 常见问题解答

1 概述

您可以通过本文了解OpenStack插件的安装过程，本文主要介绍了SeerEngine-DC Neutron插件的安装。

在OpenStack环境中，Neutron（OpenStack网络服务）用来管理所有VNI（Virtual Networking Infrastructure，虚拟网络架构），它负责向OpenStack计算服务管理的设备提供虚拟网络服务。Neutron允许租户创建高级的虚拟业务，包括防火墙（FW）、负载均衡（LB）和虚拟专用网络（VPN）。

SeerEngine-DC Neutron插件是针对SeerEngine-DC推出的符合OpenStack框架要求的Neutron插件，实现了核心插件（Networks、Subnets、Routers和Ports等）和4个扩展插件（L3_Routing、FWaaS、LBaaS和VPNaaS）的全部特性，并负责通过REST API接口将从OpenStack获取的网络配置信息，如租户的网络（Networks）、子网（Subnets）、路由器（Routers）、端口（Ports）、FW、LB、VPN等，同步设置到SeerEngine-DC。

SeerEngine-DC Neutron插件的类型及其功能如下：

·     SeerEngine-DC Neutron Core插件：为租户提供了核心的基础网络通信的能力。

·     SeerEngine-DC Neutron L3_Routing插件：为租户提供了流量在租户内进行三层转发的能力。

·     SeerEngine-DC Neutron FWaaS插件：为租户提供了部署防火墙以保护租户网络的能力。

·     SeerEngine-DC Neutron LBaaS插件：为租户提供了负载均衡的能力。

·     SeerEngine-DC Neutron VPNaaS插件：为租户提供了在公有网络中进行VPN通信的能力。

2 安装前的准备工作

2.1  硬件配置需求

SeerEngine-DC Neutron插件所需的服务器或虚拟机的硬件配置需求如表2-1所示。

表2-1 硬件配置需求

2.2  软件配置需求

当OpenStack使用Kolla-Ansible方式部署时，SeerEngine-DC Neutron插件支持的OpenStack软件版本为Pike版本。

3 使用Kolla-Ansible部署OpenStack

安装插件前需要先部署OpenStack，具体部署步骤请参考OpenStack官网上指定OpenStack软件版本的安装指导手册。

4 SeerEngine-DC预配置

SeerEngine-DC预配置，只提供SeerEngine-DC的基本配置信息。涉及不同业务场景配置，请参考对应SeerEngine-DC业务场景的典型配置指导。

预配置如表4-1所示。

表4-1 SeerEngine-DC预配置

5 安装过程

SeerEngine-DC Neutron插件安装在OpenStack控制节点上。安装插件或补丁前需要在相应的OpenStack节点上安装基础环境，具体方法请参见“5.1  安装基础环境”。

5.1  安装基础环境

安装插件及补丁前，需先安装基础环境，即在线下载并安装Python工具包。

(1)     更新软件源列表，然后下载并安装Python工具包，以CentOS操作系统为例。

[root@controller ~]# yum clean all

[root@controller ~]# yum makecache

[root@controller ~]# yum install –y python-pip python-setuptools

(2)     安装Runlike工具。

[root@controller ~]# pip install runlike

(3)     进入neutron_server容器，编辑/etc/hosts文件。添加SeerEngine-DC 上[自动化>数据中心网络>Fabrics>计算域>主机]中所有本OpenStack主机的IP和name映射信息。并添加SeerEngine-DC上[自动化>数据中心网络>资源池>设备资源>物理设备]中所有该场景下leaf、spine、border设备的IP和name映射信息。

5.2  安装/升级SeerEngine-DC Neutron插件

5.2.1  安装SeerEngine-DC Neutron插件

1. 获取SeerEngine-DC Neutron插件安装软件包

获取所需版本的SeerEngine-DC OpenStack软件包，并将SeerEngine-DC OpenStack软件包拷贝至服务器或虚拟机上的待安装目录下，或通过FTP、TFTP、SCP等文件传输协议将软件包上传到指定目录。

2. 在OpenStack控制节点上安装SeerEngine-DC Neutron插件

(1)     生成neutron-server 和h3c-agent容器的启动脚本

[root@controller ~]# runlike neutron_server>docker-neutron-server.sh

[root@controller ~]# cp docker-neutron-server.sh  docker-h3c-agent.sh

[root@controller ~]# sed -i 's/neutron-server/h3c-agent/g' docker-h3c-agent.sh

[root@controller ~]# sed -i 's/neutron_server/h3c_agent/g' docker-h3c-agent.sh

(2)     修改neutron.conf配置文件。

a.     通过vi编辑器打开neutron.conf配置文件。

[root@controller ~]# vi /etc/kolla/neutron-server/neutron.conf

b.     根据Kolla环境的操作系统配置neutron.conf文件。

-     若Kolla环境为CentOS操作系统，请参考《H3C SeerEngine-DC OpenStack插件安装指导-CentOS》进行配置。

-     若Kolla环境为Ubuntu操作系统，请参考《H3C SeerEngine-DC OpenStack插件安装指导-Ubuntu》进行配置。

(3)     修改ml2_conf.ini配置文件。

a.     通过vi编辑器打开ml2_conf.ini配置文件。

[root@controller ~]# vi /etc/kolla/neutron-server/ml2_conf.ini

b.     按[i]键进入编辑模式，按照如下所示修改文件配置。修改完成后，按[ESC]键退出编辑模式，再输入:wq，按回车，保存ml2_conf.ini配置文件并退出vi编辑器。

[ml2]

type_drivers = vxlan,vlan

tenant_network_types = vxlan,vlan

mechanism_drivers = ml2_h3c

extension_drivers = ml2_extension_h3c,qos,port_security

[ml2_type_vlan]

network_vlan_ranges = physicnet1:1000:2999

[ml2_type_vxlan]

vni_ranges = 1:500

各参数含义如下：

·     type_drivers：驱动类型，VXLAN必须作为第一个参数。

·     tenant_network_types：租户所属的网络类型。主机Overlay以及网络Overlay层次化端口绑定时，VXLAN必须作为第一个参数；网络Overlay非层次化端口绑定时，VLAN必须作为第一个参数。目前只支持租户所属的网络类型外网为VLAN，内网为VXLAN。

·     mechanism_drivers：ml2驱动名称。当创建VLAN网络的sriov类型实例时，需配置为“sriovnicswitch,ml2_h3c,openvswitch”；当创建支持层次化的实例时，需配置为“ml2_h3c,openvswitch”。

·     extension_drivers：扩展驱动名称，取值包括ml2_extension_h3c、qos和port_security。当OpenStack上未开启QoS功能时，不需配置QoS驱动；当OpenStack不需要开启端口安全功能时，不需要配置port_security。

·     network_vlan_ranges：租户外网的VLAN ID取值范围（以physicnet1:1000:2999为例）。

·     vni_ranges：租户内网VXLAN ID取值范（以1:500为例）。

(4)     修改neutron.conf配置文件，增加插件配置项。

a.     通过vi编辑器打开neutron.conf配置文件。

[root@controller ~]# vi /etc/kolla/neutron-server/neutron.conf

b.     根据Kolla环境的操作系统将ml2_conf_h3c.ini配置项增加至neutron.conf。

-     若Kolla环境为CentOS操作系统，请参考《H3C SeerEngine-DC OpenStack插件安装指导-CentOS》中的ml2_conf_h3c.ini配置neutron.conf。

-     若Kolla环境为Ubuntu操作系统，请参考《H3C SeerEngine-DC OpenStack插件安装指导-Ubuntu》中的ml2_conf_h3c.ini配置neutron.conf。

(5)     拷贝插件安装包到neutron_server容器：

[root@controller ~]# docker cp SeerEngine_DC_PLUGIN-D3601_pike_2017.10-py2.7.egg neutron_server:/

(6)     进入neutron_server容器，进入插件安装包所在文件夹，安装插件软件包。

[root@controller ~]# docker exec -it -u root neutron_server bash

(neutron-server) [root@controller ~]# easy_install SeerEngine_DC_PLUGIN-D3601_pike_2017.10-py2.7.egg

(neutron-server) [root@controller ~]# h3c-sdnplugin controller install

(7)     生成neutron-server和h3c-agent容器镜像。

[root@controller ~]# neutron_server_image=$(docker ps --format {{.Image}} --filter name=neutron_server)

[root@controller ~]# h3c_agent_image=$(echo $neutron_server_image | sed 's/neutron-server/h3c-agent/')

[root@controller ~]# docker ps | grep $neutron_server_image

16d60524b8b3        kolla/centos-source-neutron-server:pike              "dumb-init --single-?   16 months ago       Up 2 weeks                              neutron_server

[root@controller ~]# docker commit container_uuid （需替换为以上命令查到的uuid）kolla/neutron-server-h3c

[root@controller ~]# docker rm -f neutron_server

[root@controller ~]# docker tag $neutron_server_image kolla/neutron-server-origin

[root@controller ~]# docker rmi $neutron_server_image

[root@controller ~]# docker tag kolla/neutron-server-h3c $neutron_server_image

[root@controller ~]# docker tag kolla/neutron-server-h3c $h3c_agent_image

[root@controller ~]# docker rmi kolla/neutron-server-h3c

(8)     拷贝neutron-server配置至h3c-agent目录，并修改配置。

[root@controller ~]# cp -pR /etc/kolla/neutron-server /etc/kolla/h3c-agent

[root@controller ~]# sed -i 's/neutron-server/h3c-agent/g' /etc/kolla/h3c-agent/config.json

(9)     启动neutron-server容器和h3c-agent容器。

[root@controller ~]# source docker-neutron-server.sh

[root@controller ~]# source docker-h3c-agent.sh

(10)     查看容器启动状态，显示为Up表示已启动。

[root@controller ~]# docker ps --filter "name=neutron_server"

CONTAINER ID        IMAGE                                      COMMAND                  CREATED             STATUS              PORTS               NAMES

289e4e132a9b        kolla/centos-source-neutron-server:pike   "dumb-init --single-?   1 minutes ago        Up 1 minutes                              neutron_server

[root@controller ~]# docker ps --filter "name=h3c_agent"

CONTAINER ID        IMAGE                                      COMMAND                  CREATED             STATUS              PORTS               NAMES

c334f7ec9857        kolla/centos-source-h3c-agent: pike   "dumb-init --single-?   1 minutes ago        Up 1 minutes                              h3c_agent

5.2.2  升级SeerEngine-DC Neutron插件

升级SeerEngine-DC Neutron插件可参考以下升级方式。

1. 不保留neutron_server及h3c_agent container的升级

(1)     删除带有原版本插件的container及image。

neutron_server_image=$(docker ps --format {{.Image}} --filter name=neutron_server)

a.     若原环境中无docker-neutron-server.sh脚本文件，则需要执行如下命令，若存在，则跳过此命令。

[root@controller ~]# runlike neutron_server>docker-neutron-server.sh

b.     开始删除带有原版本插件的container及image。

[root@controller ~]# docker rm -f neutron_server

[root@controller ~]# docker rmi  $neutron_server_image

[root@controller ~]# docker rm -f h3c_agent

[root@controller ~]# docker rmi  $h3c_agent_image

c.     恢复Kolla环境默认的container及image。

[root@controller ~]# docker tag kolla/neutron-server-origin $neutron_server_image

[root@controller ~]# docker rmi kolla/neutron-server-origin

[root@controller ~]# source docker-neutron-server.sh

(2)     重新安装新版本，具体方法请参见“5.2.1  安装SeerEngine-DC Neutron插件”。

2. 保留neutron_server及h3c_agent container的升级

保留neutron_server及h3c_agent container的升级需要分别进入neutron_server和h3c_agent container，卸载旧版本插件，再安装新版本插件。升级步骤如下。

(1)     升级neutron_server container。

a.     进入neutron_server容器卸载旧版本插件。

[root@controller ~]# docker exec -it -u root neutron_server bash

(neutron-server) [root@controller ~]# h3c-sdnplugin controller uninstall

Remove service

Removed symlink /etc/systemd/system/multi-user.target.wants/h3c-agent.service.

Restore config files

Uninstallation complete.

(neutron-server) [root@controller ~]# pip uninstall seerengine-dc-plugin

Uninstalling SeerEngine-DC-PLUGIN-E3603P01-pike-2017.10:

/usr/bin/h3c-agent

/usr/bin/h3c-sdnplugin

……

b.     安装新版本插件。

请按照新版本插件对应的资料，重新检查并配置插件配置项。

[root@controller ~]# docker cp SeerEngine_DC_PLUGIN-D3601_pike _2017.10-py2.7.egg neutron_server:/

[root@controller ~]# docker exec -it -u root neutron_server bash

(neutron-server) [root@controller ~]# easy_install SeerEngine_DC_PLUGIN-D3601_pike _2017.10-py2.7.egg

(neutron-server) [root@controller ~]# h3c-sdnplugin controller install

c.     退出并重启neutron_server容器。

(neutron-server)[root@controller01 ~]# exit

[root@controller01 ~]# docker restart neutron_server

(2)     升级h3c_agent container。

a.     进入neutron_server容器卸载旧版本插件。

[root@controller ~]# docker exec -it -u root neutron_server bash

(h3c-agent) [root@controller ~]# h3c-sdnplugin controller uninstall

Remove service

Removed symlink /etc/systemd/system/multi-user.target.wants/h3c-agent.service.

Restore config files

Uninstallation complete.

(h3c-agent) [root@controller ~]# pip uninstall seerengine-dc-plugin

Uninstalling SeerEngine-DC-PLUGIN-E3603P01-pike-2017.10:

/usr/bin/h3c-agent

/usr/bin/h3c-sdnplugin

……

b.     安装新版本插件。

[root@controller ~]# docker cp SeerEngine_DC_PLUGIN-D3601_pike_2017.10-py2.7.egg h3c_agent:/

[root@controller ~]# docker exec -it -u root h3c_agent bash

(h3c-agent) [root@controller ~]# easy_install SeerEngine_DC_PLUGIN-D3601_pike_2017.10-py2.7.egg

(h3c-agent) [root@controller ~]# h3c-sdnplugin controller install

c.     退出并重启h3c_agent容器。

(h3c-agent)[root@controller01 ~]# exit

[root@controller01 ~]# docker restart h3c_agent

(3)     当多个节点安装了Neutron插件，需要保证升级后只有一个节点的h3c-agent服务可用，否则会导致防火墙配置重复下发。可通过如下步骤停止其他节点的h3c-agent服务。

a.     通过h3c_agent=$(docker ps --format {{.ID}} --filter name= h3c_agent)查看h3c-agent的服务状态。

b.     使用docker stop $h3c_agent命令停止节点的h3c-agent服务。

6 扩展功能

6.1  配置网络节点的Metadata服务

开源OpenStack支持VM通过DHCP和L3 Gateway两种方式从网络节点获取Metadata数据，我司当前的Metadata方案仅支持DHCP方式。当使用我司的Metadata方案时，请按如下步骤配置网络节点的Metadata服务。

1. 按照OpenStack安装指导正确配置Metadata服务

OpenStack安装指导请从OpenStack官网下载，请参照该手册正确配置网络节点的Metadata服务。

2. 修改网络节点通过DHCP方式提供Metadata服务

(1)     通过vi编辑器打开dhcp_agent.ini配置文件。

[root@network ~]# vi /etc/kolla/neutron-dhcp-agent/dhcp_agent.ini

(2)     按[i]键进入编辑模式，按照如下所示修改文件配置。修改完成后，按[ESC]键退出编辑模式，再输入:wq，按回车，保存dhcp_agent.ini配置文件并退出vi编辑器。

[DEFAULT]

force_metadata = True

参数含义如下：

·     force_metadata：强制网络节点通过DHCP方式提供Metadata服务。

(3)     重启dhcp-agent容器。

[root@network ~]# docker restart neutron_dhcp_agent

7 常见问题解答

1. 当您的网络通过代理服务器联网时，无法使用yum命令直接访问互联网安装插件或补丁所需的Python工具包，怎么办？

可以通过为yum命令设置HTTP代理的方法解决，具体步骤如下：

(1)     配置网络实现服务器或虚拟机能够正常访问HTTP代理服务器。

(2)     通过vi编辑器修改yum.conf配置文件。如果该配置文件不存在，则新建该文件。

[root@controller ~]# vi /etc/yum.conf

(3)     按[i]键进入编辑模式，按照如下所示，在打开的yum.conf配置文件中添加HTTP代理信息。添加完成后，按[ESC]键退出编辑模式，再输入:wq，按回车，保存yum.conf配置文件并退出vi编辑器。

·     当登录HTTP代理服务器无需用户名和密码时，请按如下格式添加代理信息：

proxy = http://yourproxyaddress:proxyport

·     当登录HTTP代理服务器需要用户名和密码时，请按如下格式添加代理信息：

proxy = http://yourproxyaddress:proxyport

proxy_username=username

proxy_password=password

¡     username：登录代理服务器的用户名（以sdn为例）。

¡     password：登录代理服务器的密码（以123456为例）。

¡     yourproxyaddress：代理服务器IP地址（以172.25.1.1为例）。

¡     proxyport：代理服务的端口号（以8080为例）。

proxy = http://172.25.1.1:8080

proxy_username = sdn

proxy_password = 123456

2. 插件安装成功后，与云平台对接出现异常时应该如何处理？

按照本文档中的步骤进行了正确的配置和安装后，对接云平台时出现问题时，请联系云平台厂商定位是否云平台侧的配置存在问题，排除云平台侧问题后，如仍然存在问题，请联系售后工程师进行处理。

3. Inter X700系列网卡接收不到LLDP报文，怎么办？

以网卡enp61s0f3为例，解决办法如下：

(1)     查询并记录系统内核信息。

[root@controller ~]# uname -r

3.10.0-957.1.3.el7.x86_64

(2)     查询网卡详细信息，记录firmware-version和bus-info的值。

[root@controller ~]# ethtool -i enp61s0f3

driver: i40e

version: 2.8.20-k

firmware-version: 3.33 0x80000f0c 1.1767.0

expansion-rom-version:

bus-info: 0000:3d:00.3

supports-statistics: yes

supports-test: yes

supports-eeprom-access: yes

supports-register-dump: yes

supports-priv-flags: yes

(3)     根据内核版本和网卡固件版本的不同，有以下两种解决方案：

·     当内核高于kernel-3.10.0-957.el7且网卡固件版本（firmware-version）大于等于4时

a.     执行如下命令。

[root@controller ~]# ethtool --set-priv-flags enp61s0f3 disable-fw-lldp on

b.     查看disable-fw-lldp状态是否是on。

[root@controller ~]# ethtool --show-priv-flags enp61s0f3  | grep lldp

disable-fw-lldp       : on

c.     上述命令执行后，网卡LLDP报文已可收到，为防止服务器重启此命令失效，需要将此命令写入开机自定义程序启动文件中，已保证服务器重启有效。

d.     打开开机自启文件：

[root@controller ~]# vi /etc/rc.d/rc.local

e.     按[i]键进入编辑模式，修改完成后，按[ESC]键退出编辑模式，再输入:wq，按回车，保存修改。

ethtool --set-priv-flags enp61s0f3  disable-fw-lldp on

f.     设置文件权限为可执行文件。

[root@controller ~]# chmod 755 /etc/rc.d/rc.local

·     内核版本小于kernel-3.10.0-957.el7或者网卡固件版本（firmware-version）小于4时

g.     执行命令echo "lldp stop" > /sys/kernel/debug/i40e/bus-info/command，其中，bus-info请输入已记录的网卡对应值，并在“:”前输入转义符“\”。

[root@controller ~]# echo "lldp stop" > /sys/kernel/debug/i40e/0000\:3d\:00.3/command

上述命令执行后，网卡LLDP报文已可收到，为防止服务器重启此命令失效，需要将此命令写入开机自定义程序启动文件中，已保证服务器重启有效。

h.     打开开机自启文件：

[root@controller ~]# vi /etc/rc.d/rc.local

i.     按[i]键进入编辑模式，添加以下配置，修改完成后，按[ESC]键退出编辑模式，再输入:wq，按回车，保存修改。

echo "lldp stop" > /sys/kernel/debug/i40e/0000\:3d\:00.3/command

j.     设置文件权限为可执行文件

[root@controller ~]# chmod 755 /etc/rc.d/rc.local

4. 有关nova补丁和openvswitch-agent补丁的说明

在如下使用场景下，可先参考《H3C SeerEngine-DC OpenStack版本插件安装指导-CentOS》和《H3C SeerEngine-DC OpenStack版本插件安装指导-Ubuntu》中nova补丁和openvswitch-agent补丁的配置方式，并参考“5.2  安装/升级SeerEngine-DC Neutron插件”完成补丁的安装。

(1)     Nova补丁使用场景

¡     KVM类型的主机Overlay或网络Overlay组网中，如果虚拟机作为Loadbalancer成员，Loadbalancer需要感知成员状态。

¡     vCenter类型的网络Overlay场景。

(2)     openvswitch-agent补丁使用场景

当OpenStack的计算节点使用KVM虚拟化技术且需应用层次化端口绑定功能时，开源openvswitch-agent进程可能导致开源OVS（Open vSwitch）上缺少对应VLAN的流表，通过安装openvswitch-agent补丁可解决此问题。