锐单电子商城 ， 一站式电子元器件采购平台！

  • 电话：400-990-0325

购物车

Nebula Graph数据库 学习笔记

时间：2023-08-05 02:37:00 连接器df1ec

Nebula Graph 它是一个开源、分布式、易扩展的原始图形数据库，可以携带数千亿点和数万亿条边的超大规模数据集，并提供毫秒查询。

一、图数据库简介

图数据库是一点、边为基础，以高效存储、查询图数据为基础的数据管理系统。

图数据库概念：
图：一组点和边点表示实体，边表示实体之间的关系。

在图数据库中，数据之间的关系与数据同样重要，它们被存储为数据的一部分，使图数据库能够快速响应复杂的关联查询。

图数据库是存储、查询和分析高度互联的最佳方式，可以直观地可视化关系。

图数据库属于非关系型数据库（NoSQL）。图数据库存储数据之间的关系作为数据的一部分，可以添加标签、方向和属性，这是图数据库的性能优势。

1.1、数据模型

Nebula Graph支持六种基本数据模型：

图空间（Space）

图形空间用于隔离不同团队或项目的数据。不同图形空间的数据相互隔离，可指定不同的存储副本、权限、分片等。

点（Vertex）

点用来保存实体对象，特点如下：
1)点是用点标记符（VID）标识的。VID在同一图空间中唯一。VID 是一个 int64，或者 fixed_string(N)。
2）点可以有 多个 Tag。

边（Edge）

边缘用于连接点，表示两点之间的关系或行为，特征如下：
1)两点之间可以有多个边缘。
2)边有方向，没有无向边。
3）四元组 <起点 VID、Edge type、边排序值 (rank)、终点 VID> 用于唯一标记一边。边缘没有 EID。
4)一边只有一边 Edge type。
5)一边只有一边 Rank，类型为 int64，默认值为 0。

标签（Tag）

Tag 由一组预定义的属性组成。

边类型（Edge type）

Edge type 由一组预定义的属性组成。

属性（Property）

属性是指按键值对（Key-value pair）表示形式的信息。

Tag 和 Edge type 类似于关系数据库中点表和边表的表结构。

1.2.有向属性图

Nebula Graph 使用由向属性图模型、点和边组成的图，这些边有方向，点和边都可以有属性。

下表是篮球运动员数据集的结构示例，包括两种类型的点（player、team）边缘有两种类型（serve、follow）。

在这里插入图片描述
Nebula Graph 没有无向边，只支持有向边。

1.3、路径

路径是指连接一系列点的有限或无限边序列。
路径有三种类型：walk、trail、path。

walk

walk类型的路径由有限或无限的边序列组成。点和边可以重复。

由于 C、D、E 构成一个环，因此图中包含无限路径

trail

trail类型路径由有限的边序列组成。只有点可以重复，边不能重复。

在 trail 还有类型cycle和circuit两种特殊路径类型：
1、cycle
cycle 是封闭的 trail 路径类型，遍历时边不能重复，起点和终点重复，没有其他点重复。在这个例子中，最长路径由三个边组成：A->B->C->A或C->D->E->C

2、circuit
circuit 也是封闭的 trail 除起点和终点重复外，可能还有其他点重复类型的路径。在此示例图中，最长路径为：A->B->C->D->E->C->A。

path

path类型路径由有限的边序列组成。点和边都不能重复。
由于点和边不能重复，图中包含有限的路径，最长路径由 4 条边组成：A->B->C->D->E

1.4、VID

在 Nebula Graph 中间，点由点 ID 唯一的标识，即 VID 或 Vertex ID。

VID特点：
1）VID 数据类型只能定长字符串FIXED_STRING()或INT64；图形空间只能选择其中一个 VID 类型。
2）VID 它必须是图形空间中唯一的，其功能类似于关系数据库中的主键(索引) 唯一约束）
3）点 VID 用户必须指定生成模式，系统不提供自增 ID 或者 UUID。
4）VID 相同的点将被视为相同的点。

  • VID 相当于实体的唯一标号:比如一个人的身份证号。Tag 相当于实体所拥有的类型，例如"滴滴司机"和"老板"。不同的 Tag 又相应定义了两组不同的属性，例如"驾照号、驾龄、接单量、接单小号"和"工号、工资、债务额度、商务电话"。
  • 同时操作相同 VID 并且相同 Tag 的两条INSERT语句（均无IF NOT EXISTS参数)，晚写INSERT先写会覆盖。
  • 同时，操作包含相同的内容 VID 但两者不同TAG A和TAG B的两条INSERT语句，对TAG A不会影响操作TAG B。

5）VID 通常会被（LSM-tree 方法)索引并缓存在内存中，因此直接访问 VID 性能最高。

1.5、Nebula Graph架构

Nebula Graph 由三种服务组成：Graph 服务、Meta 服务和 Storage 服务是一种存储和计算分离的架构。

每个服务都有可执行的二进制文件和相应的过程，用户可以在一台或多台计算机上部署这些二进制文件 Nebula Graph 集群。

Meta服务

meta服务负责数据管理，如 Schema 操作、集群管理、用户权限管理等。

Graph 服务

Graph 服务负责处理计算请求

Storage 服务

Storage 负责存储数据的服务

二、Nebula Graph的安装部署

2.1、安装nebula graph

Step1、在mac系统上安装docker

参考：https://zhuanlan.zhihu.com/p/504604050
mac os 版本：12.1
docker版本：20.10.14, build a224086

% docker info Client:  Context:    default  Debug Mode: false  Plugins:   buildx: Docker Buildx (Docker Inc., v0.8.2)   compose: Docker Compose (Docker Inc., v2.5.1)
  sbom: View the packaged-based Software Bill Of Materials (SBOM) for an image (Anchore Inc., 0.6.0)
  scan: Docker Scan (Docker Inc., v0.17.0)

Server:
 Containers: 0
  Running: 0
  Paused: 0
  Stopped: 0
 Images: 0
 Server Version: 20.10.14
 Storage Driver: overlay2
  Backing Filesystem: extfs
  Supports d_type: true
  Native Overlay Diff: true
  userxattr: false
 Logging Driver: json-file
 Cgroup Driver: cgroupfs
 Cgroup Version: 2
 Plugins:
  Volume: local
  Network: bridge host ipvlan macvlan null overlay
  Log: awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog
 Swarm: inactive
 Runtimes: io.containerd.runc.v2 io.containerd.runtime.v1.linux runc
 Default Runtime: runc
 Init Binary: docker-init
 containerd version: 3df54a852345ae127d1fa3092b95168e4a88e2f8
 runc version: v1.0.3-0-gf46b6ba
 init version: de40ad0
 Security Options:
  seccomp
   Profile: default
  cgroupns
 Kernel Version: 5.10.104-linuxkit
 Operating System: Docker Desktop
 OSType: linux
 Architecture: aarch64
 CPUs: 5
 Total Memory: 7.667GiB
 Name: docker-desktop
 ID: AM6Z:I27L:Z4GP:LQMH:YEIL:T5UD:CVDO:2SN2:6J74:ZIWB:6H4Z:RGS5
 Docker Root Dir: /var/lib/docker
 Debug Mode: false
 HTTP Proxy: http.docker.internal:3128
 HTTPS Proxy: http.docker.internal:3128
 No Proxy: hubproxy.docker.internal
 Registry: https://index.docker.io/v1/
 Labels:
 Experimental: false
 Insecure Registries:
  hubproxy.docker.internal:5000
  127.0.0.0/8
 Live Restore Enabled: false

Step2、配置Docker加速：


修改原配置为新的配置：

{ 
        
  "builder": { 
        
    "gc": { 
        
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": { 
        
    "buildkit": true
  },
  "registry-mirrors": [
    "https://hub-mirror.c.163.com/",
    "https://reg-mirror.qiniu.com",
    "https://docker.mirrors.ustc.edu.cn/",
    "https://wh9z3wm8.mirror.aliyuncs.com"
  ]
}

Step3、Docker网络配置

% docker network create nebula-net
6d9219819496c2aea8d7c8d61fa0edab950965b70ceef7b98cf9156c3ee41c64
peng.shi@H7HT0YWMTC ~ % docker network ls
NETWORK ID     NAME         DRIVER    SCOPE
4451ad142c9a   bridge       bridge    local
5fed9c0933af   host         host      local
6d9219819496   nebula-net   bridge    local
066f578ac097   none         null      local

Step4、安装nebula-graph

1、Git 克隆 nebula-docker-compose 仓库

peng.shi@H7HT0YWMTC ~ % git clone -b master https://github.com/vesoft-inc/nebula-docker-compose.git
Cloning into 'nebula-docker-compose'...
remote: Enumerating objects: 440, done.
remote: Counting objects: 100% (154/154), done.
remote: Compressing objects: 100% (42/42), done.
remote: Total 440 (delta 138), reused 112 (delta 112), pack-reused 286
Receiving objects: 100% (440/440), 143.52 KiB | 296.00 KiB/s, done.
Resolving deltas: 100% (258/258), done.

2、修改 docker-compose.yaml

docker-compose.yaml在刚下载的nebula-docker-compose目录中

在docker-compose.yaml中增加：

external: true

Step4、docker-compose 部署 Nebula（此处需要开VPN，否则下载超时）

docker-compose up -d

peng.shi@H7HT0YWMTC nebula-docker-compose % docker-compose up -d
Pulling metad0 (vesoft/nebula-metad:nightly)...
nightly: Pulling from vesoft/nebula-metad
nightly: Pulling from vesoft/nebula-metad
nightly: Pulling from vesoft/nebula-metad
6717b8ec66cd: Pull complete
fdd65c4c2d5c: Pull complete
733069f6a7fa: Pull complete
4f4fb700ef54: Pull complete
7df18b9cd98f: Pull complete
Digest: sha256:7485b2fd39b02694b7f9edb32d8f0d684afe403f9ff5c330a33e8f36d1255133
Status: Downloaded newer image for vesoft/nebula-metad:nightly
Pulling storaged0 (vesoft/nebula-storaged:nightly)...
nightly: Pulling from vesoft/nebula-storaged
nightly: Pulling from vesoft/nebula-storaged
nightly: Pulling from vesoft/nebula-storaged
6717b8ec66cd: Already exists
f332d3f370bb: Pull complete
cf87f019d5b8: Pull complete
4f4fb700ef54: Pull complete
b5945490aa54: Pull complete
Digest: sha256:c39eed30f41e6ed876b03e6df1d092c349823f20589f3a75c8bd553d7258d576
Status: Downloaded newer image for vesoft/nebula-storaged:nightly
Pulling graphd (vesoft/nebula-graphd:nightly)...
nightly: Pulling from vesoft/nebula-graphd
2d473b07cdd5: Downloading [=============>                                     ]  19.95MB/76.1MB
2d473b07cdd5: Downloading [=======>                                           ]  11.02MB/76.1MB
39a4c7f32b8c: Retrying in 1 second
6fef0e3258c2: Download complete
6de84f84c10e: Downloading [===============================>                   ]  12.85MB/20.61MB
nightly: Pulling from vesoft/nebula-graphd
6717b8ec66cd: Already exists
fe7880d7abed: Pull complete
0d816d217636: Pull complete
4f4fb700ef54: Pull complete
4e16df01237b: Pull complete
Digest: sha256:e7a83d0aef7d7a9188fe6d5740011e0ea9ca6c3b4d69adeaad21653be61bb67f
Status: Downloaded newer image for vesoft/nebula-graphd:nightly
Pulling console (vesoft/nebula-console:nightly)...
nightly: Pulling from vesoft/nebula-console
97518928ae5f: Pull complete
201f3554b694: Pull complete
a7d9596279dc: Pull complete
Digest: sha256:e14bed97d0fd13b0d46bc01ac67fed6759f6387a048e19bbe7974bda068d0203
Status: Downloaded newer image for vesoft/nebula-console:nightly
Creating nebula-docker-compose_metad2_1 ... done
Creating nebula-docker-compose_metad0_1 ... done
Creating nebula-docker-compose_metad1_1 ... done
Creating nebula-docker-compose_storaged0_1 ... done
Creating nebula-docker-compose_storaged2_1 ... done
Creating nebula-docker-compose_storaged1_1 ... done
Creating nebula-docker-compose_graphd_1    ... done
Creating nebula-docker-compose_graphd2_1   ... done
Creating nebula-docker-compose_graphd1_1   ... done
Creating nebula-docker-compose_console_1   ... done

Step5、Nebula Studio安装

1、下载 Nebula Studio 部署配置文件

wget  https://oss-cdn.nebula-graph.com.cn/nebula-graph-studio/3.2.2/nebula-graph-studio-v3.2.2.tar.gz

peng.shi@H7HT0YWMTC nebula-docker-compose % wget  https://oss-cdn.nebula-graph.com.cn/nebula-graph-studio/3.2.2/nebula-graph-studio-v3.2.2.tar.gz
--2022-05-24 12:14:50--  https://oss-cdn.nebula-graph.com.cn/nebula-graph-studio/3.2.2/nebula-graph-studio-v3.2.2.tar.gz
正在解析主机 oss-cdn.nebula-graph.com.cn (oss-cdn.nebula-graph.com.cn)... 124.200.113.113, 124.200.113.110, 124.200.113.114, ...
正在连接 oss-cdn.nebula-graph.com.cn (oss-cdn.nebula-graph.com.cn)|124.200.113.113|:443... 已连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：5533480 (5.3M) [application/gzip]
正在保存至: “nebula-graph-studio-v3.2.2.tar.gz”

nebula-graph-studio-v3.2.2.tar.g 100%[=========================================================>]   5.28M  1.50MB/s  用时 4.1s    

2022-05-24 12:14:55 (1.27 MB/s) - 已保存 “nebula-graph-studio-v3.2.2.tar.gz” [5533480/5533480])

2、创建 nebula-graph-studio-v3.2.2 目录，并将安装包解压至目录中

mkdir nebula-graph-studio-v3.2.2 && tar -zxvf nebula-graph-studio-v3.2.2.tar.gz -C nebula-graph-studio-v3.2.2

3、修改 docker-compose.yaml

将原有nebula-web改为nebula-net, 并添加external: true:

version: '3.4'
services:
  web:
    image: vesoft/nebula-graph-studio:v3.2.2
    environment:
      USER: root
      UPLOAD_DIR: ${ 
        MAPPING_DOCKER_DIR}
    ports:
      - 7001:7001
    networks:
      - nebula-net

networks:
  nebula-net:
    external: true

4、构建并启动 Nebula Studio 服务（需要开VPN）

在nebula-graph-studio-v3.2.2 目录下执行：

docker-compose up -d

peng.shi@H7HT0YWMTC nebula-graph-studio-v3.2.2 % docker-compose up -d
WARNING: The MAPPING_DOCKER_DIR variable is not set. Defaulting to a blank string.
Pulling web (vesoft/nebula-graph-studio:v3.2.2)...
v3.2.2: Pulling from vesoft/nebula-graph-studio
59bf1c3509f3: Downloading
bd8aa6907987: Download complete
59bf1c3509f3: Pull complete
bd8aa6907987: Pull complete
79b600fbf12a: Pull complete
9e028fd00ce7: Pull complete
Digest: sha256:ee8e9551a0f10c8e4fe03312131fb53f885dc4a7bf15157e0d500607fbaa1508
Status: Downloaded newer image for vesoft/nebula-graph-studio:v3.2.2
Creating nebula-graph-studio-v322_web_1 ... done

登录本地安装的nebula数据库：http://127.0.0.1:7001/

Host: graphd:9669
用户名：root
密码：nebula

可登录至主界面：

5、Nebula Console 安装 & 访问

下载地址：https://github.com/vesoft-inc/nebula-console/releases

mac系统下载第一个

下载nebula-console-darwin-amd64-v3.0.0后，改名为nebula-console，此文件为二进制文件，在此文件所在路径执行下述命令：

chmod 777 nebula-console

./nebula-console -addr=127.0.0.1  -port 9669 -u root -p nebula

此时如果弹出macOS不信任此nebula-console，则点击问号，在设置->安全与隐私中设置信任后即可。

peng.shi@H7HT0YWMTC Downloads % chmod 777 nebula-console
peng.shi@H7HT0YWMTC Downloads % ./nebula-console -addr=127.0.0.1  -port 9669 -u root -p nebula
zsh: killed     ./nebula-console -addr=127.0.0.1 -port 9669 -u root -p nebula
peng.shi@H7HT0YWMTC Downloads % ./nebula-console -addr=127.0.0.1  -port 9669 -u root -p nebula
zsh: killed     ./nebula-console -addr=127.0.0.1 -port 9669 -u root -p nebula
peng.shi@H7HT0YWMTC Downloads % ./nebula-console -addr=127.0.0.1  -port 9669 -u root -p nebula

Welcome to Nebula Graph!

(root@nebula) [(none)]>

2.2、安装完成后测试验证

通过Nebula Studio 服务访问

接下来就可以使用nebula数据库了。

三、Nebula工具

3.1、Nebula Importer

Importer工具，支持把本地的csv文件导入到Nebula gragh数据库中。

3.2、Nebula Exchange

Nebula Exchange用于把spark中的多种不同格式的数据迁移到nebula graph中，支持批量数据和流式数据的迁移。

Exchange工具由Reader、Processor、Writer三部分组成：

1、Reader：读取不同来源的数据，返回DataFrame
2、Processor：遍历DataFrame每行，根据配置文件中fields的映射关系，按列名获取对应的值。
3、Writer：在遍历指定批处理的行数后，Writer将这些批处理的数据一次性写入到nebula graph中。

3.2.1、Exchange适用场景

1）来自Kafka, Pulsar的流式数据
2）从关系型数据库（如MySQL）或分布式文件系统（如HDFS）中获取的批式数据，如某个时间段的数据
3）要将大批量生成Nebula Graph能识别的SST文件，再导入到Nebula Graph数据库
4）需要导出Nebula Graph中保存的数据

总结：把spark中的数据导入到nebula（流式）；把MySQL/HDFS中的数据导入到nebula（批量）；把nebula的SST文件导入到nebula；把nebula的数据导出。

Exchange的优点：
1）支持多种来源的数据导入到nebula
2）支持不同来源的数据转为SST文件后导入
3）支持SSL加密
4）支持断点续传（目前仅Neo4j数据迁移时支持断点续传）
5）异步操作：在数据源中生成一条插入语句，发给graph服务，最后再执行插入操作
6）支持同时导入多个tag和edge type，不同tag和edge type可以是不同数据来源或格式
7）可使用spark中的累加器统计插入操作成功和失败的次数
8）采用HOCON（Human-Optimized Config Object Notation）配置文件格式，具有面向对象风格

3.3.2、Nebula Exchange支持的数据源

Exchange 3.0.0 支持通过 nGQL 语句的形式导入 Nebula：
1、存储在 HDFS 或本地的数据：
Apache Parquet
Apache ORC
JSON
CSV

2、HBase

3、数据仓库：
Hive
MaxCompute

4、图数据库：Neo4j

5、关系型数据库：
MySQL
PostgreSQL

6、列式数据库：ClickHouse

7、流处理软件平台：Kafka

8、发布/订阅消息平台：Pulsar

除了用 nGQL 语句的形式导入数据，Exchange 还支持将数据源的数据生成 SST 文件，然后通过 Console 导入 SST 文件。

以 Nebula Graph 为源，将数据导出到 CSV 文件 （仅企业版支持此功能）
锐单商城拥有海量元器件数据手册、IC替代型号，打造电子元器件IC百科大全！

相关文章