原创 南乔River 2024-08-15 00:01 北京
日报关键词:?可视化;?LLM Visualization;?Transformer Explainer;?Stable Diffusion;CNN;神经网络;?提示词;ComfyUI;?机器学习;清华AI术语清单…点击阅读全文
ShowMeAI
专业◎洞察◎清晰◎实用
用知识加速每一次技术进步!
推荐语
今天日报主题是「将AI可视化进行到底!」
常听社群学习者抱怨 AI 太抽象
模型、算法、原理、概念
看不见,摸不着,想象不出来 ?
这时,就必须夸夸 AI 圈的优秀传统之一
可视化!不遗余力地可视化!
行业大佬和前辈们创造了很多工具
就是为了辅助新手们理解进阶 ?
日报筛选了与当前关联最紧密的一批网站
帮助你打开 AI 的黑匣子 ?
注意:本文有大量 GIF 动图
添加南乔 (AhaNanQiao) 为好友
欢迎补充! 一起玩转AI可视化!
LLM Visualization:用可视化 3D 页面,演示大模型的运行原理
LLM Visualization 是一个大语言模型 (LLM) 可视化网站,能清晰演示 LLM 基本架构和运行细节。
网页右侧展示了 GPT-2(smal)、nano-gpt、GPT-2 (XL)、GPT-3 架构,依次点击,可以直观地感受到参数爆炸增长带来的视觉震撼。
确实是「大大大大大力出奇迹」。
网页左侧是 Transformer 架构细节图。
点击架构各个模块,可以在右侧看到局部放大图。点击 Continue
按钮,可以看到运行细节。
继续操作,你就体验了「基于小尺寸 nano-gpt 按照字母顺序对 CBABBC
进行排序」这个任务的全部流程。
还可以从微观角度看清楚内部组件、运算流程、输入输出…
nano-gpt 是 Andrej Karpathy 开发和维护的一个开源项目,核心代码只有 600 行左右,简单易读易修改,非常适合用来学习和调试 Transformer 模型,尤其是在资源有限的情况下。
Andrej Karpathy • nanoGPT → https://github.com/karpathy/nanoGPT
开始运行!
以下是部分组件和操作的演示动图 ?
Embedding
Layer Norm
Self Attention
可以说,这是目前 LLM 和 Transformer 原理可视化做得最好的网站,没有之一。
它把抽象的论文理论,做成了颗粒度极细微的可交互动画,还配上了文字解释。对初学者简直太友好了 ?
“LLM Visualization 官网 → https://bbycroft.net/llm
LLM Visualization 中文翻译版 → http://llm-viz-cn.iiiai.com/llm
后续,还可以丝滑衔接 李沐 大佬的论文解读视频,以及 3Blue1Brown 的原理讲解视频等等,尝试更深层地理解 Transformer 运行原理 ?
原始论文 | Attention Is All You Need → https://arxiv.org/abs/1706.03762
论文解读 | B站@跟李沐学AI → https://www.bilibili.com/video/BV1pu411o7BE
视频教程 | 直观解释注意力机制,Transformer的核心 → https://www.bilibili.com/video/BV1TZ421j7Ke/
图文教程 | The Illustrated Transformer → https://jalammar.github.io/illustrated-transformer/
Transformer Explainer:胜在简明!把原理压缩进一张5秒的动图
Transformer Explainer 是最新火起来的另一款可视化交互网站。
它展示了基于 Transformer 的 GPT-2 模型的基本构成,以及数据在组件间的传输流程。
网站提供了多个输入文本示例。
点击选择或者输入自己的文本,再单击 Generate
按钮,就可以看到文本「输入-输出」的完整流程,感受信息在模型中的逐步传递。
最终,GPT-2 计算输出概率,并给出下一个输出文本。
上图使用了网站示例
Data visualization empowers users to
,GPT-2 预测输出的下一个文本是visualize
(紫色,增加在输入框的文本后方)
以下是关键环节的演示动图 ?
Embedding
可以看到输入文本被切分成了更小的单元 (也就是 token),并转换成数值向量形式的 embedding (嵌入)。
与位置编码 (Positional Encoding) 相结合后,形成最终的嵌入向量。
Query, Key, Value 矩阵的计算过程
使用 QKV 矩阵计算 masked self-attention
输出概率及其随 Tempreture 参数的变数
此外,网站配文 (下拉页面) 完整介绍了所有组件,并解释了各自构成和其作用。
整体更加简明清晰,非常适合新手入门!
从此,所有抽象的知识点,都找到合适的安放位置啦~
“Transformer Explainer 官网 (配文超清晰) → http://poloclub.github.io/transformer-explainer
Transformer Explainer ● GitHub → https://github.com/poloclub/transformer-explainer
Diffusion Explainer:文生图原理可视化,原来SD 画图是这样的!
AI领域的可视化工具,真的超级多!!(因为好多理论“看不见,摸不着”,复杂又抽象 ?
当下热门的「文生图」赛道和大名鼎鼎的 Stable Diffusion,当然也有可视化工具啦!!
Diffusion Explainer 是一个可交互的可视化网站,展示了 Stable Diffusion 的组成架构 & 文生图的运行流程,即文本是如何一步一步生成为高品质图像的。
网站提供了多个提示词示例。
上方演示选择的是 a cute and adorable bunny, with huge clear eyes, holding a bunch of flowers
。
网站在几秒内就完成了本次图像生成任务。
Text Representation Generator
文本表示生成器 (Text Representation Generator) 是Stable Diffusion 核心步骤之一,将输入的文本 Prompt 转换成向量形式,来引导图像的生成过程。
Image Representation Refiner
图像表示细化器 (Image Representation Refiner) 是Stable Diffusion 的另一个核心步骤,即在多个 Timestep 中,将随机噪声细化为高分辨率图像的向量表示。
同样的,下拉页面,就可以看到关于 Stable Diffusion 和网站的介绍,包括组件、功能、作用,以及更详细的原理解释 ?
“官网 → http://aicoco.net/s/4g
Diffusion Explainer ● GitHub → https://github.com/poloclub/diffusion-explainer
如果,你想更深刻地了解 Stable Diffusion,或者寻找更明确、清晰的原理解释,强烈推荐下方两份资料 ?
图解教程 | The Illustrated Stable Diffusion → https://jalammar.github.io/illustrated-stable-diffusion/
大佬撰文 | ⋙ 关于Diffusion你应该了解的一切
CNN Explainer:卷积神经网络原理演示,AI可视化网站的神!
在你学习 Stable Diffusion 原理的过程中,一定绕不开深度学习模型 CNN (Convolutional Neural Network),即卷积神经网络。
简单来说,在Stable Diffusion中,CNN 被用于提取输入图像的特征,以便后续进行建模过程。
如果你需要直观理解 CNN 的运行原理,并且理解其中卷积、激活函数、池化等操作的实现过程,可以借助这个网站工具 ?
CNN Explainer 也是一款可交互的可视化网站,展示了 CNN 模型的构成组件、运行过程、以及各层输入输出。
网站提供了多个图片示例。
从左到右,演示了 CNN 模型抽取图像特征的完整过程,并在最后判断图像类别。
演示选择的图片是
一杯咖啡
,输出的预测值最高的是expresso
。识别结果正确。需要注意的是:对人眼而言,越到最后,特征越抽象;但对模型而言,则是越容易理解的。
输入是图片的 RGB 三通道 (红,绿,蓝)。
点击输入,可以看到图片在网络每一层计算后呈现的样式。悬浮鼠标可以看到每个卷积核的输入。
点击卷积层 (conv) ,可以看到卷积核一步一步地扫过输入图片,并形成输出的「卷积」过程。
点击激励层 (relu) ,可以看到 ReLU 激活函数的完整计算过程。
点击池化层 (max_pool) ,可以看到输入里的最大值被取出来。
循环。最后,输出层表示分类结果,即模块越长表示概率越大。
日报对这个工具的介绍比较简单。
实际上,网站演示包含着丰富的细节。足够支持你深度理解 CNN 模型的流程和运算原理了~
“官网 → https://poloclub.github.io/cnn-explainer
CNN Explainer ● GitHub → https://github.com/poloclub/cnn-explainer
详细解读(中文) → https://blog.csdn.net/weixin_41792162/article/details/118659253
A Neural Network Playground
顺路介绍另一个收藏夹必备网站 ?
A Neural Network Playground 是一个可交互的可视化网站,更确切地说是一个神经网络 (Neural Network) 模拟器,高度支持自由选择和调整。
GitHub 已经收获了 11.9K Star 啦 ? 在AI圈超级有名!
你可以随便调整数据集、网络架构、学习率、激活函数等多个参数,并几乎实时查看每层和最后的输出效果。
也就是说,通过这个网站,就能体验到神经网络设计和训练的完整过程!!
如果你正在死磕AI底层原理,或者已经探索到了「神经网络」这个颗粒度!
相信你也会爱上这个网站的 ?
“A Neural Network Playground 官网 → https://playground.tensorflow.org/
A Neural Network Playground ● GitHub → https://github.com/tensorflow/playground
OPS:一站式全能工具,文生图「提示词」的可视化/翻译/管理
OPS (OpenPromptStudio) 是中国开发者打造的一个文生图提示词可视化网站。目前支持 Midjourney 和 stable diffusion webui。
点击右侧网站自带的「提示词词典」,根据中文或英文查找自己需要的提示词。或者在空白处双击新建关键词,网站会自动翻译成另一种语言。
还可以随意拖拽排序、增删、分类。
直到满意后,一键复制提示词到 MJ 或 SD 操作页面。
也就是说!一个网站,就能满足 AI文生图提示词最常见的编辑需求!超级实用!
而且,OPS 还支持使用 Notion 来管理自己的词典。
操作过程有一点点复杂,详细教程在 GitHub 页面啦!写得很清楚 ?
“官网 → https://moonvy.com/apps/ops
OPS/OpenPromptStudio ● GitHub → https://github.com/Moonvy/OpenPromptStudio
ComfyUI ArtGallery
ComfyUI ArtGallery 这个AI文生图提示词工具,把「可视化」进行得更加彻底!
因为在生成之前,就可以看到提示词的参考图啦 ?
下图是 WorkFlow 截图 (目前还在开发和内测阶段)
图片的上半部分,是5大类提示词及其选项列表,以及效果参考图:
Artists | 艺术家:280位
Cameras | 镜头:47种
Films | 胶片:83种
Movements | 艺术运动:138种
Styles | 艺术媒介:115种
图片的下半部分,是当前预览的效果参考图。
而且,支持5类提示词的轻松组合/搭配,操作时只需选择图像,系统会自动更新提示词内容和权重。
“开发和内测中,可以期待一把~
ComfyUI ArtGallery ● GitHub → https://github.com/ZHO-ZHO-ZHO/ComfyUI-ArtGallery
MLU Explain:用超酷可视化网页,解释 14 个机器学习核心概念
MLU (Machine Learning University) 这个网站非常有意思!!给出了新手入门机器学习 (ML) 的另一种可能性~
网站演示了 14 个机器学习的核心概念。只需要下拉页面,就可以让网页所有信息「动」起来!清晰又有趣 ?
如果你正在探索机器学习,不妨打开网站,一边玩一边巩固知识呀 ?
Neural Networks / 神经网络
Equality of Odds
Logistic Regression
Linear Regression / 线性回归
Reinforcement Learning / 强化学习
ROC & AUC
Cross-Validation / 交叉验证
Train, Test, And Validation Sets / 训练集、测试集和验证集
Precision & Recall
Random Forest / 随机森林
Decision Trees / 决策树
The Bias Variance Tradeoff
Double Descent: A Visual Introduction
Double Descent: A Mathematical Explanation
“官网 → https://mlu-explain.github.io/
清华大学的机器学习术语表:已收录 500+ AI术语,最全&最准确
这是清华大学 @唐杰 老师组整理的一份「机器学习课程术语表」,对常见AI术语进行了分类、翻译。
目前一共 24 类,共 500+ 高频术语:
机器学习基础
机器学习理论
Applied Math
SVM
Ensemble
DNN
Regularization
Matrix Factorization
Optimization
CNN
Auto Encoder
RNN
Representation
Network Embedding
GAN
Adversarial Learning
Online Learning
Reinforcement Learning
AutoML
Graphic Model
Topic Model
MCMC
Mean-Field
non-parametric models
而且!这份清单,还提供了相关学者和论文信息 —— 点击页面的「更多」,就可以一键跳转 AMiner 关键字检索页面。
这应该是全网最全且最实用的 AI术语手册了!
清华出品,准确度也有保障!收藏备用吧 ?
“机器学习课程术语表 ● 网站 → https://www.aminer.cn/ml_taxonomy
微博@唐杰THU → https://weibo.com/u/2126427211
THE END
转载原创文章请添加微信 AhaNanQiao
↓ 分享·收藏·在看·点赞