FileManager #2013

gongweibao · 2017-05-04T12:57:13Z

根据#1902的讨论，总结了一下。
命令和详细的参数部分还在增加中。
Here may be better to review

Maybe I need to write document in English, or foreign colleagues can't read。

typhoonzero · 2017-05-05T08:33:44Z

doc/design/file_mananger/README.md

+## Objetive
+在本文档中，我们设计说明了用户上传、下载、管理自己在PaddlePaddle Cloud上的文件所涉及到的模块和流程
+
+<image src=./src/filemanager.png width=8900>


这个图中, cloud.paddlepaddle.org 也是在ingress后面的。

我理解下面的"Module"章节，是对这个图的解释，这样的话就不需要在单独的章节里了，跟在图下面，这样读者的思路会比较顺畅。

typhoonzero · 2017-05-05T08:34:20Z

doc/design/file_mananger/README.md

@@ -0,0 +1,79 @@
+# Desgin doc: FileManager
+## Objetive


如果文档都是中文标题也都统一用中文吧。

typhoonzero · 2017-05-05T08:36:13Z

doc/design/file_mananger/README.md

+<image src=./src/filemanager.png width=8900>
+
+## Module
+### PFS Client


PFS需要先定义， fileserver, FileManager PFS，这些名词统一一下得。PFS需要对应图中的名词。

typhoonzero · 2017-05-05T08:45:44Z

doc/design/file_mananger/README.md

+- 做Http转发、负载均衡
+	- 注意配置session保持，以便来自一个用户的访问可以定向到一个固定的机器上，减少冲突写的机会。
+
+


上图中的CephFS这也需要一起解释下。

typhoonzero · 2017-05-05T09:07:15Z

doc/design/file_mananger/README.md

+- [RESTAPI](./RESTAPI.md)接口
+
+## 解释
+### 为什么有chunk的抽象：  


为什么有chunk的抽象： => 文件分块上传

typhoonzero · 2017-05-05T09:16:41Z

doc/design/file_mananger/README.md

+### 关于认证
+> 通信各方都需要有各自的身份证。一个公司可以自签名一个CA身份证，并 且用它来给每个雇员以及每个程序签署身份证。这样，只要每台电脑上都预先安 装好公司自己的CA身份证，就可以用这个身份证验证每个雇员和程序的身份了。 这是目前很多公司的常用做法  
+
+身份的认证来自于用户或者程序是否有crt标识身份，以及是否有可信的CA确认这个身份证是否有效。我们这里描述的crt涉及到两个部分，一个是Client端程序访问FileServer的crt，不妨称之为Client crt；另外一个是FileServer访问CephFS的crt，不妨称之为CephFS crt。


每个用户只需要有一个cert就可以了。

typhoonzero · 2017-05-05T09:17:25Z

doc/design/file_mananger/README.md

+- Client和FileServer相互认证的办法   
+`cloud.paddlepaddle.org`需要有自己的CA，FileServer和注册用户也要为其生成各自的私钥(key)、crt。这样用户把CA、自己的key和crt下载到本地后，Client程序可以用之和FileServer可以做相互的认证
+
+- CephFS验证FileServer的身份的两种方法


只写一种计划实现的方法

typhoonzero · 2017-05-05T09:18:03Z

doc/design/file_mananger/README.md

+	- 第二种：CephFS crt只有一个，也就是admin crt，拥有所有volume的读写权限。  
+	FileServer从Client crt提取Client的身份（username），限制其可以操作的volume。 我们选择这种。
+
+### 关于文件传输


这部分可以放在chunk介绍之上

typhoonzero · 2017-05-05T09:20:51Z

doc/design/file_mananger/pfs/ls.md

+ls - list directory contents or a file attributes
+
+# Synopsis
+` ls [OPTION]... <PFSPath>`


这些命令是直接在客户端执行么，如果是，应该是paddle pfs ls ....

这些命令的参数都应该对应到REST 中API

参考了一下aws.s3的子命令部分，例如ls，这么写应该也可以。

helinwang · 2017-05-05T21:00:37Z

doc/design/file_mananger/README.md

+## Objetive
+在本文档中，我们设计说明了用户上传、下载、管理自己在PaddlePaddle Cloud上的文件所涉及到的模块和流程
+
+<image src=./src/filemanager.png width=8900>


我对ingress不是很了解，为什么ingress在图中被分成了多个pod？

Ingress实际会有多个Pod组成，每个Pod里是一个Nginx的实例.

helinwang · 2017-05-05T21:02:17Z

doc/design/file_mananger/README.md

+## Objetive
+在本文档中，我们设计说明了用户上传、下载、管理自己在PaddlePaddle Cloud上的文件所涉及到的模块和流程
+
+<image src=./src/filemanager.png width=8900>


感觉pod可以去掉了，有一些让人混淆。感觉这里讲的是模块和流程，不是每个程序通过什么方式运行的。

helinwang · 2017-05-05T21:03:37Z

doc/design/file_mananger/README.md

+<image src=./src/filemanager.png width=8900>
+
+## Module
+### PFS Client


缩写之前全称应该出现过：PFS Client -> Paddle Filesystem (PFS) Client

helinwang · 2017-05-05T21:35:03Z

doc/design/file_mananger/README.md

+
+### FileServer
+功能说明:  
+- gorpc写的HttpServer  


简写需要大写，比如：HTTP, URL。
这里应该改成：goRPC写的HTTPServer

helinwang · 2017-05-05T21:35:33Z

doc/design/file_mananger/README.md

+功能说明:  
+- gorpc写的HttpServer  
+- 响应外部的REST API的请求  
+- 在kubernets中运行  


-> kubernetes

惭愧。Done。

helinwang · 2017-05-05T21:50:56Z

doc/design/file_mananger/README.md

+- CephFS验证FileServer的身份的两种方法
+	- 第一种：每一个用户都有自己单独的访问CephFS crt。
+	用户访问其空间时，由FileServer读取它然后才可以在CephFS上完成操作。
+	- 第二种：CephFS crt只有一个，也就是admin crt，拥有所有volume的读写权限。  


有个疑问，不一定是对的：为什么fileserver访问ceph需要认证，fileserver是我们自己在内网启动的，不能相信吗？

确实不需要。Done。

helinwang · 2017-05-05T21:52:06Z

doc/design/file_mananger/README.md

+	FileServer从Client crt提取Client的身份（username），限制其可以操作的volume。 我们选择这种。
+
+### 关于文件传输
+文件传输的的关键在于需要Client端对比src和dst的文件chunks的checkSum是否保持一致，不一致的由Client Get或者Post chunk完成。藉由上述的方法完成断点的数据传输。 upload文件时，由于一个文件可以是多个FileServer可写的，存在冲突的机会，需要Client端在Post最后一个chunk的时候检查dest文件的MD5值是否和本地文件一致。


Get和Post是HTTP的GET和POST吗？用的是goRPC，貌似跟HTTP GET／POST没多大关系？

helinwang · 2017-05-05T21:52:51Z

doc/design/file_mananger/README.md

+	FileServer从Client crt提取Client的身份（username），限制其可以操作的volume。 我们选择这种。
+
+### 关于文件传输
+文件传输的的关键在于需要Client端对比src和dst的文件chunks的checkSum是否保持一致，不一致的由Client Get或者Post chunk完成。藉由上述的方法完成断点的数据传输。 upload文件时，由于一个文件可以是多个FileServer可写的，存在冲突的机会，需要Client端在Post最后一个chunk的时候检查dest文件的MD5值是否和本地文件一致。


“需要Client端在Post最后一个chunk的时候检查dest文件的MD5值是否和本地文件一致。”
是客户端检查还是服务器检查？

helinwang · 2017-05-05T21:53:29Z

doc/design/file_mananger/README.md

+
+- 优化的方法:  
+
+	- dst文件不存在时，可以没有Get的过程，只有Post。


不是很明白这个Get和Post是指的什么？

Done。这个概念不应该暴露在这里。

helinwang · 2017-05-05T21:54:06Z

doc/design/file_mananger/README.md

+- 优化的方法:  
+
+	- dst文件不存在时，可以没有Get的过程，只有Post。
+	- 文件的chunks信息可以做cache，不用每次启动传输都去读和计算。这个由于比较复杂，第一期暂时不做。


我觉得这个可以不要写在design doc里了，这只是一个优化的可能方案，有没有效，有没有必要都不一定。

Yancey1989 · 2017-05-07T16:03:26Z

doc/design/file_mananger/README.md

+## Objetive
+在本文档中，我们设计说明了用户上传、下载、管理自己在PaddlePaddle Cloud上的文件所涉及到的模块和流程
+
+<image src=./src/filemanager.png width=8900>


图中有些单词要大写例如Api=>API, ingress=>Ingress, cephfs=>CephFS

Yancey1989 · 2017-05-07T16:04:29Z

doc/design/file_mananger/README.md

+## Objetive
+在本文档中，我们设计说明了用户上传、下载、管理自己在PaddlePaddle Cloud上的文件所涉及到的模块和流程
+
+<image src=./src/filemanager.png width=8900>


Ingress实际会有多个Pod组成，每个Pod里是一个Nginx的实例.

Yancey1989 · 2017-05-07T16:09:31Z

doc/design/file_mananger/README.md

+	- 第一种：每一个用户都有自己单独的访问CephFS crt。
+	用户访问其空间时，由FileServer读取它然后才可以在CephFS上完成操作。
+	- 第二种：CephFS crt只有一个，也就是admin crt，拥有所有volume的读写权限。  
+	FileServer从Client crt提取Client的身份（username），限制其可以操作的volume。 我们选择这种。


简述一些选择第二种的理由吧？

Yancey1989 · 2017-05-07T16:10:23Z

doc/design/file_mananger/README.md

+	FileServer从Client crt提取Client的身份（username），限制其可以操作的volume。 我们选择这种。
+
+### 关于文件传输
+文件传输的的关键在于需要Client端对比src和dst的文件chunks的checkSum是否保持一致，不一致的由Client Get或者Post chunk完成。藉由上述的方法完成断点的数据传输。 upload文件时，由于一个文件可以是多个FileServer可写的，存在冲突的机会，需要Client端在Post最后一个chunk的时候检查dest文件的MD5值是否和本地文件一致。


不一致的由Client Get或者Post chunk完成

何时用Get，何时用Post呢？

Yancey1989 · 2017-05-07T16:12:40Z

doc/design/file_mananger/README.md

+## 参考文档
+- [Do you see tls?](https://github.com/k8sp/tls/blob/master/README.md)
+- [s3](http://docs.aws.amazon.com/cli/latest/reference/s3/)
+- linux man document


这里建议也加个链接吧，linux man document

Yancey1989 · 2017-05-07T16:19:39Z

doc/design/file_mananger/README.md

+## Objetive
+在本文档中，我们设计说明了用户上传、下载、管理自己在PaddlePaddle Cloud上的文件所涉及到的模块和流程
+
+<image src=./src/filemanager.png width=8900>


感觉可以不暴露Kubernetes的概念，Ingress=>Layer 7 Load Balancer 这样的描述比较通用，否则的话还需要解释什么是Ingress，什么是Pod，而这并不是这篇Design Doc的重点

Yancey1989 · 2017-05-09T02:23:08Z

doc/design/file_mananger/README.md

@@ -0,0 +1,83 @@
+# FileManager设计文档
+## 名词解释
+- PFS：是Paddle cloud File System的简称。与之相对的是Local File System。


Paddle cloud=>PaddlePaddle Cloud

Yancey1989 · 2017-05-09T02:28:10Z

doc/design/file_mananger/README.md

+
+### Ingress
+- 在kubernets中运行
+- 做HTTP转发、负载均衡


做HTTP转发、负载均衡=>提供七层协议的反向代理，负载均衡

Yancey1989 · 2017-05-09T02:33:11Z

doc/design/file_mananger/README.md

+- 在kubernetes中运行  
+- [RESTAPI](./RESTAPI.md)接口
+
+## 文件传输


这里是不是FileManager？

不是。不过说明的不合理。已经改正。Done

Yancey1989 · 2017-05-09T02:33:41Z

doc/design/file_mananger/README.md

+## 名词解释
+- PFS：是Paddle cloud File System的简称。与之相对的是Local File System。
+- FileServer：接收用户管理文件命令的服务端
+- FileManger：用户管理自己自己在PFS文件上的系统称为FileManager


没有看到介绍FileManager的地方。

helinwang · 2017-05-10T20:31:21Z

doc/design/file_mananger/README.md

+主要功能包括：
+
+- 提供常用的命令行文件管理命令管理文件
+	- 支持的命令在[Here]	(./pfs/pfs.md)


超链接的markdone语法有误。

惭愧。Done

helinwang · 2017-05-10T20:33:58Z

doc/design/file_mananger/pfs/cp.md

+- The following command copies a single file to pfs
+
+```
+paddle pfs cp ./text1.txt /pfs/mydir/text1.txt


/pfs/的用法需要更新了，请参考https://github.com/PaddlePaddle/Paddle/pull/2083/files#r115843580

helinwang · 2017-05-10T20:36:21Z

doc/design/file_mananger/README.md

+	- 用Golang写，可以跨平台执行
+
+- 双向验证   
+	PFSClient需要和Ingress之间做双向验证<sup>[tls](#tls)</sup>，所有用户需要首先在`cloud.paddlepaddle.org`上注册一下，申请用户空间，并且把系统生成的Key、CRT、CA下载到本地，然后才能使用PFSClient。


ingress的粘性链接于双向验证的实现细节想通了吗？：）请于武毅和闫旭确认一下可行：）

哦，解释在这里

helinwang · 2017-05-10T20:37:29Z

doc/design/file_mananger/README.md

+## 文件传输优化
+
+### 分块文件传输
+用户文件可能是比较大的，上传到Cloud或者下载到本地的时间可能比较长，而且在传输的过程中也可能出现网络不稳定的情况。为了应对以上的问题，我们提出了Chunk的概念，一个Chunk由所在的文件偏移、数据、数据长度及校验值组成。文件数据内容的上传和下载都是都过Chunk的操作来实现的。由于Chunk比较小（默认256K），完成一个传输动作完成的时间也比较短，不容易出错。PFSClient在传输完毕最后一个Chunk的时候检查desttination文件的MD5值是否和source文件一致。


desttination -> destination

helinwang · 2017-05-10T20:38:52Z

doc/design/file_mananger/RESTAPI.md

+
+```
+GET /file: Get attribue of files
+POST /file: Touch a file 


Touch file有什么用吗，为什么要支持？

Touch的语义本来是没有就创建，有就不创建。。。我还是写的更清楚一下。

不明白，paddle pfs的什么命令对应touch file?

helinwang · 2017-05-10T20:39:58Z

doc/design/file_mananger/RESTAPI.md

+
+```
+GET /dir: List all files in a directory
+POST /dir: Touch a directory


Touch directory的目的是mkdir吗？直接写成create a directory是否更容易懂？

helinwang · 2017-05-10T20:51:14Z

doc/design/file_mananger/pfs/ls.md

+paddle pfs ls /pfs/mydir/text1.txt
+```
+
+Output


Output容易随着程序的变化而变化（比如可能会加入进度条），就不要写在design doc里面了吧。
以下还有很多处Output。

helinwang · 2017-05-10T20:52:38Z

doc/design/file_mananger/pfs/mv.md

+If destination already exist, please [rm](rm.md) it first.
+
+```
+mv [OPTION]...


<LocalPath> <PFSPath> or <PFSPath> <LocalPath> or <PFSPath> <PFSPath>这一行有点让读者困惑，是不是看看怎么写的明白点？

helinwang · 2017-05-10T20:55:08Z

doc/design/file_mananger/pfs/rm.md

+# Description
+
+```
+-r, -R, --recursive 


一个事情就只用一个方法来做吧。

helinwang · 2017-05-10T20:55:21Z

doc/design/file_mananger/pfs/rm.md

+-r, -R, --recursive 
+	remove directories and their contents recursively
+
+--page-size (integer) 


rm如何有page-size？

helinwang · 2017-05-10T20:55:38Z

doc/design/file_mananger/pfs/sync.md

+
+# Synopsis
+` sync [OPTIONS]...
+<LocalPath> <PFSPath> or <PFSPath> <LocalPath> or <PFSPath> <PFSPath>`


<LocalPath> <PFSPath> or <PFSPath> <LocalPath> or <PFSPath> <PFSPath>有点看不懂：）

gongweibao · 2017-05-12T09:54:54Z

评论太多了。关闭这个PR，重新开一个。

gongweibao added 3 commits May 3, 2017 20:29

add filemanager doc

33eadfb

add cp...

0d7d899

add cmds

e61d972

gongweibao requested review from Yancey1989, wangkuiyi, helinwang and typhoonzero May 4, 2017 12:57

gongweibao added 6 commits May 4, 2017 21:04

modify stly

5cdef64

add commands

ee454f9

modify commands

177d35a

modify some bugs

1297bbd

rm no ascii character

5f02c42

rm chinese links

0e0de91

typhoonzero requested changes May 5, 2017

View reviewed changes

helinwang reviewed May 5, 2017

View reviewed changes

Yancey1989 reviewed May 7, 2017

View reviewed changes

modify by comments

1cc6062

gongweibao mentioned this pull request May 8, 2017

FileServer提供RPC接口还是RESTful API接口？ #2052

Closed

Yancey1989 reviewed May 9, 2017

View reviewed changes

gongweibao added 2 commits May 10, 2017 15:28

modify by comments

d101426

modify by comments

9910b55

helinwang reviewed May 10, 2017

View reviewed changes

gongweibao added 3 commits May 11, 2017 11:52

modify by comments

ffd45b7

fix name bugs

327727d

fix by comments

60f69c2

gongweibao closed this May 12, 2017

		- 做Http转发、负载均衡
		- 注意配置session保持，以便来自一个用户的访问可以定向到一个固定的机器上，减少冲突写的机会。


		- 优化的方法:

		- dst文件不存在时，可以没有Get的过程，只有Post。

FileManager #2013

FileManager #2013

Conversation

gongweibao commented May 4, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

gongweibao May 8, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Yancey1989 May 7, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

gongweibao May 10, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Yancey1989 May 7, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Yancey1989 May 7, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

gongweibao commented May 4, 2017 •

edited

Loading

gongweibao May 8, 2017 •

edited

Loading

Yancey1989 May 7, 2017 •

edited

Loading

gongweibao May 10, 2017 •

edited

Loading

Yancey1989 May 7, 2017 •

edited

Loading

Yancey1989 May 7, 2017 •

edited

Loading