Skip to content

Commit

Permalink
调整格式
Browse files Browse the repository at this point in the history
  • Loading branch information
shen-shanshan committed Dec 16, 2024
1 parent 07ee396 commit a400c8f
Show file tree
Hide file tree
Showing 105 changed files with 2,481 additions and 569 deletions.
4 changes: 0 additions & 4 deletions content/about/index.md
Original file line number Diff line number Diff line change
Expand Up @@ -89,10 +89,6 @@ Studying at School of Electronic and Information Engineering, majoring in commun

I am a contributor to many open source projects on GitHub, which are showed below.

{{< github repo="gpustack/llama-box" >}}

<br>

{{< github repo="ggerganov/llama.cpp" >}}

<br>
Expand Down
6 changes: 3 additions & 3 deletions content/guide/index.md
Original file line number Diff line number Diff line change
Expand Up @@ -33,13 +33,13 @@ You can read the article showed below to get a whole picture of all the technica

### Reading notes

You can read the article showed below to get a whole picture of all the books I have read, and the reading notes I have written are showed at the end of this article.
You can read the article showed below to get a whole picture of all the books I have read, and the reading notes I have written are also showed here.

{{< article link="/articles/%E6%88%91%E7%9A%84%E4%B9%A6%E5%8D%95-%E6%80%BB%E8%A7%88/" >}}
{{< article link="/articles/%E6%88%91%E7%9A%84%E8%AF%BB%E4%B9%A6%E7%AC%94%E8%AE%B0-%E6%80%BB%E8%A7%88/" >}}

### Others

There are some other kinds of articles such as music learning notes, you can find them in the [Articles](https://shen-shanshan.github.io/articles/) page.
There are some other kinds of articles such as some reflections in my life, you can find them in the [Articles](https://shen-shanshan.github.io/articles/) page.

---

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -70,9 +70,9 @@ Task 或 Kernel,是 Device 上真正的任务执行体。

> 参考资料:
>
> - [<u>Ascend 算子开发基本概念</u>](https://www.hiascend.com/doc_center/source/zh/CANNCommunityEdition/80RC3alpha001/devguide/appdevg/aclpythondevg/aclpythondevg_0004.html)
> - [<u>CUDA 基础</u>](https://www.cnblogs.com/LLW-NEU/p/16219611.html)
> - [<u>CUDA 介绍</u>](https://juniorprincewang.github.io/2018/01/12/CUDA-logic/)
> - [<u>Ascend 算子开发基本概念</u>](https://www.hiascend.com/doc_center/source/zh/CANNCommunityEdition/80RC3alpha001/devguide/appdevg/aclpythondevg/aclpythondevg_0004.html)
> - [<u>CUDA 基础</u>](https://www.cnblogs.com/LLW-NEU/p/16219611.html)
> - [<u>CUDA 介绍</u>](https://juniorprincewang.github.io/2018/01/12/CUDA-logic/)
## 三、单算子开发

Expand Down Expand Up @@ -102,22 +102,22 @@ Task 或 Kernel,是 Device 上真正的任务执行体。

> 参考资料:
>
> - [<u>单算子调用基础知识</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/devguide/appdevg/aclcppdevg/aclcppdevg_000016.html)
> - [<u>Ascend 开源融合算子</u>](https://gitee.com/ascend/cann-ops-adv)
> - [<u>单算子调用基础知识</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/devguide/appdevg/aclcppdevg/aclcppdevg_000016.html)
> - [<u>Ascend 开源融合算子</u>](https://gitee.com/ascend/cann-ops-adv)
## 四、代码实现

本小节将以 `aclnnAdd``aclnnMatmul` 算子为例,实现具体的代码。

> 更详细的 API 文档可以参考:
>
> - 加法算子:[<u>aclnnAdd</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/apiref/aolapi/context/common/aclnn_domains.md?sub_id=%2Fzh%2FCANNCommunityEdition%2F80RC3alpha003%2Fapiref%2Faolapi%2Fcontext%2FaclnnAdd%26aclnnInplaceAdd.md)
> - 乘法算子:[<u>aclnnMatmul</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/apiref/aolapi/context/aclnnMatmul.md)
> - 加法算子:[<u>aclnnAdd</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/apiref/aolapi/context/common/aclnn_domains.md?sub_id=%2Fzh%2FCANNCommunityEdition%2F80RC3alpha003%2Fapiref%2Faolapi%2Fcontext%2FaclnnAdd%26aclnnInplaceAdd.md)
> - 乘法算子:[<u>aclnnMatmul</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/apiref/aolapi/context/aclnnMatmul.md)
### 4.1 环境搭建

- [<u>快速安装昇腾环境</u>](https://ascend.github.io/docs/sources/ascend/quick_install.html)
- [<u>基于 EulerOS & Ascend NPU 搭建 PyTorch 远程开发环境</u>](https://blog.csdn.net/weixin_44162047/article/details/142502025?spm=1001.2014.3001.5502)
- [<u>快速安装昇腾环境</u>](https://ascend.github.io/docs/sources/ascend/quick_install.html)
- [<u>基于 EulerOS & Ascend NPU 搭建 PyTorch 远程开发环境</u>](https://blog.csdn.net/weixin_44162047/article/details/142502025?spm=1001.2014.3001.5502)

### 4.2 单算子开发流程

Expand Down Expand Up @@ -604,7 +604,7 @@ result[8] is: 51.000000
> 参考资料:
>
> - [<u>Ascend 算子开发指南</u>](https://github.com/wangshuai09/Notebook/blob/main/Ascend%E7%AE%97%E5%AD%90%E5%BC%80%E5%8F%91%E6%8C%87%E5%8D%97/aclnn%E7%AE%97%E5%AD%90%E5%BC%80%E5%8F%91%E6%8C%87%E5%8D%97.md)
> - [<u>CANN 社区版开发文档</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/quickstart/quickstart/quickstart_18_0001.html)
> - [<u>调用 NN 算子接口示例代码</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/devguide/appdevg/aclcppdevg/aclcppdevg_000019.html)
> - [<u>算子加速库接口</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/apiref/aolapi/operatorlist_0001.html)
> - [<u>Ascend 算子开发指南</u>](https://github.com/wangshuai09/Notebook/blob/main/Ascend%E7%AE%97%E5%AD%90%E5%BC%80%E5%8F%91%E6%8C%87%E5%8D%97/aclnn%E7%AE%97%E5%AD%90%E5%BC%80%E5%8F%91%E6%8C%87%E5%8D%97.md)
> - [<u>CANN 社区版开发文档</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/quickstart/quickstart/quickstart_18_0001.html)
> - [<u>调用 NN 算子接口示例代码</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/devguide/appdevg/aclcppdevg/aclcppdevg_000019.html)
> - [<u>算子加速库接口</u>](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC3alpha003/apiref/aolapi/operatorlist_0001.html)
Original file line number Diff line number Diff line change
Expand Up @@ -261,8 +261,8 @@ conda list

> 参考资料:
>
> - [<u>安装 miniconda aarch64 版本</u>](https://blog.csdn.net/Damien_J_Scott/article/details/136563747)
> - [<u>conda 环境启用 & 基本使用</u>](https://www.cnblogs.com/milton/p/18023969)
> - [<u>安装 miniconda aarch64 版本</u>](https://blog.csdn.net/Damien_J_Scott/article/details/136563747)
> - [<u>conda 环境启用 & 基本使用</u>](https://www.cnblogs.com/milton/p/18023969)
设置 miniconda 的 channel:

Expand Down Expand Up @@ -450,8 +450,8 @@ sudo /etc/init.d/ssh restart

> 参考资料:
>
> - [<u>Ubuntu 安装 SSH SERVER</u>](https://blog.csdn.net/qq_39698985/article/details/136193187)
> - [<u>使用 Docker 容器配置 ssh 服务,远程直接进入容器</u>](https://blog.csdn.net/qq_33259057/article/details/124737659)
> - [<u>Ubuntu 安装 SSH SERVER</u>](https://blog.csdn.net/qq_39698985/article/details/136193187)
> - [<u>使用 Docker 容器配置 ssh 服务,远程直接进入容器</u>](https://blog.csdn.net/qq_33259057/article/details/124737659)
### 5.2 配置 VSCode 客户端

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -193,6 +193,6 @@ $$

## 五、参考资料

- [1] [<u>LoRA: Low-Rank Adaptation of Large Language Models</u>](https://arxiv.org/abs/2106.09685)
- [2] [<u>《统计学习方法》</u>](https://book.douban.com/subject/33437381/)
- [3] [<u>图解大模型微调系列之:大模型低秩适配器 LoRA(原理篇)</u>](https://zhuanlan.zhihu.com/p/646831196)
- [<u>LoRA: Low-Rank Adaptation of Large Language Models</u>](https://arxiv.org/abs/2106.09685)
- [<u>《统计学习方法》</u>](https://book.douban.com/subject/33437381/)
- [<u>图解大模型微调系列之:大模型低秩适配器 LoRA(原理篇)</u>](https://zhuanlan.zhihu.com/p/646831196)
Original file line number Diff line number Diff line change
Expand Up @@ -58,29 +58,27 @@ tags: ["AI", "LLM", "大模型微调", "论文精读"]

### 4.1 FFT 的优缺点

优点:
**优点:**

- **提升特定任务性能**:全参微调可以对所有模型参数进行优化,从而在某些任务上获得更好的性能。

缺点:
**缺点:**

- **训练成本高**:全参微调所需要计算的参数量与预训练相同,随着模型规模变得越来越大,这使得在消费级硬件上进行全量微调变得不可行;
- **灾难性遗忘**:用特定训练数据去微调可能会把这个领域的表现变好,但也可能会把原来表现好的别的领域的能力变差。

### 4.2 PEFT 的优缺点

优点:
**优点:**

- **降低训练成本**:减少计算消耗,缩短训练时间,降低对硬件性能的要求;
- **保证模型性能**:针对特定下游任务,能够在一定程度上保证模型的表现和性能;
- **节省存储空间**:降低存储占用,大部分的参数都可以在不同任务之间共享,只需额外保存经过不同任务微调后更新的参数。

缺点:
**缺点:**

- **特定任务性能有限**:可能无法达到全参数微调在某些特定任务上的性能水平。

小结:

因此,在实际应用中,我们应该根据具体任务的要求和可用资源情况,在服务效率和模型质量之间做出权衡。对于资源有限或对训练时间有严格要求的场景,使用 PEFT 会是一个比较好的选择;而对于需要最佳性能的任务,使用 FFT 可能会更加合适。

### 4.3 PEFT 的分类
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -8,48 +8,44 @@ showAuthor: false
showRelatedContent: false
---

## 一、前言
<!-- ## 一、前言 -->

本文梳理了我的所有技术博客,并按技术领域进行了分类,主要聚焦于 AI Infra 和 LLM 领域,具体的内容如下所示。
<!-- 本文梳理了我的所有技术博客,并按技术领域进行了分类,主要聚焦于 AI Infra 和 LLM 领域,具体的内容如下所示。 -->

<!-- {{< article link="/articles//" >}} -->

## 二、AI Infra
## AI Infra

### 2.1 环境搭建
### 环境搭建

{{< article link="/articles/%E5%9F%BA%E4%BA%8E-euleros-ascend-npu-%E6%90%AD%E5%BB%BA-pytorch-%E8%BF%9C%E7%A8%8B%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83/" >}}

### 2.2 硬件架构
### 硬件架构

{{< article link="/articles/nvidia-gpu-%E6%9E%B6%E6%9E%84-cuda-%E5%B9%B3%E5%8F%B0%E5%85%A5%E9%97%A8%E5%AD%A6%E4%B9%A0/" >}}

<br>

{{< article link="/articles/ascend-npu-%E6%9E%B6%E6%9E%84-cann-%E5%B9%B3%E5%8F%B0%E5%85%A5%E9%97%A8%E5%AD%A6%E4%B9%A0/" >}}

### 2.3 算子开发
### 算子开发

{{< article link="/articles/ascend-aclnn-%E7%AE%97%E5%AD%90%E5%BC%80%E5%8F%91%E5%85%A5%E9%97%A8/" >}}

## 三、LLM
## LLM

### 3.1 大模型微调
### 大模型微调

{{< article link="/articles/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E7%9F%A5%E8%AF%86%E5%85%A8%E6%99%AF/" >}}

<br>

{{< article link="/articles/%E5%A4%A7%E6%A8%A1%E5%9E%8B-lora-%E5%BE%AE%E8%B0%83%E7%9A%84%E6%95%B0%E5%AD%A6%E5%8E%9F%E7%90%86/" >}}

## 四、Java

### 4.1 编译问题
## Java

{{< article link="/articles/maven-%E9%A1%B9%E7%9B%AE%E7%BC%96%E8%AF%91%E6%8A%A5%E9%94%99%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95/" >}}

## 五、Git

### 5.1 实践案例
## Git

{{< article link="/articles/git-%E5%AE%9E%E8%B7%B5%E6%A1%88%E4%BE%8B-%E5%90%88%E5%B9%B6%E5%A4%9A%E4%B8%AA%E5%88%86%E6%95%A3%E7%9A%84-commit-%E8%8A%82%E7%82%B9/" >}}
Original file line number Diff line number Diff line change
Expand Up @@ -47,6 +47,6 @@ tags: ["读书笔记", "经济学", "投资理财"]
因此,作者鼓励我们除了做好自己的本职工作之外,一定要再去发展一项额外的技能,这样当你失业时,你还能有其他的经济来源维持自己的生活。目前,我也在积极探索工作以外的收入来源(在不影响本职工作的前提下),不让工资成为自己唯一的经济来源,并提高自己在财务上的抗风险能力。

## 三、总结
## 三、心得体会

这本书算是我的理财启蒙之作,也激起了我对投资理财相关知识的兴趣。在今后,希望我能继续阅读更多经济学相关的书籍,从而不断提高自己的风险意识和理财能力。
Original file line number Diff line number Diff line change
@@ -1,7 +1,7 @@
---
title: 《小岛经济学》读书笔记 | 深入浅出经济学原理
date: '2024-12-15T11:19:30+08:00'
categories: "阅读"
categories: "阅读
tags: ["读书笔记", "经济学"]
# summary: "xxx"
# draft: false
Expand Down Expand Up @@ -34,30 +34,43 @@ tags: ["读书笔记", "经济学"]
>
> “经济增长的原因:找到了生产人类所需物品的更好方式。”
随着经济规模的不断扩大,小岛上出现了“政府”和“社会分工”。
**个人的一点思考**:如果我们将“捕鱼”理解为“重复性的工作”、将“经济发展”理解为“个人能力的提高”,那么当我们将这一套理论运用到实际生活中,我是否可以这样认为——如果我们每天的时间除了休息之外都被重复性的工作占满,没有额外的时间去学习提升自己,那么我们个人的成长速度将会是缓慢、甚至停滞的?

后来,随着经济规模不断扩大,小岛上出现了“政府”和“社会分工”。

> “在一个经济体中,如果人们有所分工,从事不同的商业和服务活动,其结果一定会比所有人都做同一种工作要好。分工增加产量,高产量又能提高生活水平。”
“社会分工”带来了各种各样的就业岗位,人们需要掌握特定的技能才能找到对应的工作,企业也需要雇佣合适的员工来生产商品
“社会分工”带来了各种各样的就业岗位,人们需要掌握特定的技能才能找到对应的工作,企业也需要雇佣合适的员工来创造利润

> “一名员工的具体价值主要取决于三个方面:需求(雇主是否需要这名员工所掌握的技能)、供应(有多少人具备这些技能)以及生产力(这名员工对那些任务的完成程度如何)。”
>
> “员工只要工作就有报酬,而企业主想得到回报只能等到企业赢利,它们的收益是对承担风险的回报,也是对成功整合稀有资源的回报。对利润的不懈追求推动了产品创新、企业发展与经济增长。正是这样的推动力提高了每个人的生活水平。”
为了让自己的鱼(钱)更加安全,就出现了“银行”。人们将自己的“鱼”存入银行,银行再用这笔钱对外发放贷款,创造收益的一部分用于支付储户的利息,剩下的则作为银行的赢利。其中,银行的“利率”是调控国家经济的关键。
当个人的财富积累到了一定规模,人们为了让自己的鱼(钱)更加安全,于是就出现了“银行”。人们将自己的“鱼”存入银行,银行再用这笔钱对外发放贷款,创造收益的一部分用于支付储户的利息,剩下的则作为银行的赢利。其中,银行的“利率”是调控国家经济的关键。

> “贷款利率决定了银行能支付给储户的利息。存款利率是随存款年限递增的。存款年限越长,造成银行存鱼短缺的风险越低。因此,如果储户愿意长期储蓄,获得的利率也就较高,进行短期储蓄的储户所获得的利率则较低。”
> “贷款利率决定了银行能支付给储户的利息。存款利率是随存款年限递增的。存款年限越长,造成银行存款短缺的风险越低。因此,如果储户愿意长期储蓄,获得的利率也就较高,进行短期储蓄的储户所获得的利率则较低。”
>
> “高利率会抑制借贷,延缓经济增长。但同时,高利率也能刺激储蓄。最终,银行资产会再次积累起来,到那时利率又会下降。而较低的存款率表明人们更愿意将储蓄用于近期消费,因而抑制了为满足未来消费需求而进行的投资。”
### 2.2 量化宽松政策

一个国家的经济并非是一直处于增长中的,当市场的调节能力失控,且政府又恰好做出了错误的决策时,就有可能造成经济的衰退,甚至是经融危机。

而对于“如何解决经济衰退”这个问题,在经济学上主要有两派观点:

- **“”**:……;
- **“”**:……。

作者认为,当经济危机来临时,“”才是正确的道路,……

> “美联储理论上是一家私有银行,但实际上却是美国财政部的延伸,它制定了美国的基准利率,影响着整个市场。美联储可以把利率降到足够低,这样企业和个人就更愿意借贷,以此刺激不景气的经济。低利率会刺激借贷、抑制储蓄,难怪美国已经由一个储蓄者的国家转变成了借款人的国家。”
### 2.3 房地产泡沫

……

## 三、总结
## 三、心得体会

……
初读本书时,正值 24 年 9 月,当时美联储时隔多年再次宣布降息,全球的经济情况都或多或少地受到了影响,国内的投资市场也开始变得活跃。在此之前,我对于经融领域可谓是一无所知,于是乘此机会,我决定恶补一波“基础”。

本书以“小岛”作为故事,生动形象地解释了经济学中的许多概念,更巧的是,“银行降准降息”以及“房地产泡沫破碎”等现象此时恰好就发身在我的身边,理论结合实际,让我对书中提到的经济学理论有了更加深刻的认识和理解。
Original file line number Diff line number Diff line change
Expand Up @@ -122,7 +122,7 @@ tags: ["读书笔记", "心理学", "个人成长", "职场之道"]

> “正确的卷法是去好好发展,快乐地卷,而不是当一个偏执的神经病。”
## 三、总结
## 三、心得体会

作为一名从校园进入职场刚满一年的小白,面对无尽的加班、干不完的杂活以及领导的否定,自己也常常陷入到迷茫和痛苦之中。如何在职场中活出自我,同时更好地平衡工作与生活?如何认清自己的目标,以更加恰当的方式去付出和努力?这些问题一直困扰着我。

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -100,7 +100,7 @@ tags: ["读书笔记", "个人成长", "个人健康"]
- 喝水,及时补充水分能帮助我们恢复身体的活力;
- 晨练,让自己出一点汗,大脑将迅速变得清醒。

## 三、总结
## 三、心得体会

在阅读本书之前,我是一个长期习惯于晚睡晚起的人。后来,有一次偶然间在微信读书的首页上刷到了这本书,在好奇心的驱使下我读了几页,然后就被其中的内容彻底吸引了。本书从为什么要早起、早起后应该做什么以及怎么实现早起等多个方面论述了与“早起”这一话题相关的方法论,并辅以作者的个人经历,让我下定决心要尝试一下书中的生活方式,改掉之前的恶习。

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -129,6 +129,6 @@ tags: ["读书笔记", "个人健康"]

如果我们在白天进行了体育锻炼,那么晚上躺在床上时,身体比平时更疲乏,会更容易睡着。合理的饮食和锻炼,有利于睡眠质量的提高。三者齐头并进,将给你的生活质量带来飞跃式的提高。

## 三、总结
## 三、心得体会

这本书是在我看完《早起的奇迹》之后紧接着阅读的一本书,因为当时自己想尝试早起,却因为总是犯困而很难坚持下去。本书的作者从人体的昼夜戒律开始讲解,让我对睡眠的生理学原理有了更具体的认识,作者也针对个人的睡眠管理给出了许多有用的意见,让我获益匪浅。通过合理地把控自己的睡眠周期,我们就能轻松实现早起,让每一天都变得更加高效。
Original file line number Diff line number Diff line change
Expand Up @@ -133,7 +133,7 @@ tags: ["读书笔记", "心理学", "个人成长", "人际交往"]
>
> “人生很简单,并不是什么深刻的事情。如果认真过好了每一个刹那,那就没什么必要令其过于深刻。站在现实性的角度,人生总是处于完结状态。”
## 三、总结
## 三、心得体会

本书全篇的核心其实就是一个词——“勇气”,生活中很多看似无解的问题,归根结底其实都是因为缺乏“勇气”造成的。其中,对我启发最大的,是关于“改变自己的勇气”、“积极生活的勇气”以及“主动付出的勇气”的部分,这也是在我过往的生活中,我认为自己做的还不太好的地方。

Expand Down
Loading

0 comments on commit a400c8f

Please sign in to comment.