wi(l)d-screen baroquePosition Zero| 2022-01-12

列车一定会去往下一站。那么舞台呢？我们呢？

Super Star SpectaclePosition Zero| 2022-01-12

列车一定会去往下一站，而舞台少女，将会前往下个舞台。

Git大学习 2024-05-05|04学习|Git

玩了玩这个: https://learngitbranching.js.org

分支：

git branch <branchname>创建新分支
git checkout <branchname>切换到新分支
git checkout -b <branchname>创建并切换
git branch -f <branchname1> <提交>让分支名1强制指向提交

合并

git merge <branchname>把分支合并到当前分支
git rebase <branchname>把当前分支分叉的地方复制到目标分支上，建议别用

树上移动：

git checkout <提交的哈希值>让HEAD指向某个具体的提交
git checkout <提交>^相对引用，引用到提交的上个节点
<提交>~<num>引用到上num个节点
HEAD，指向某个提交后，用HEAD作为当前节点名的引用

论文阅读笔记2024.4.12 2024-04-12|论文阅读|信道预测

A CSI Prediction Scheme for Satellite-Terrestrial Networks

本文分析了CSI随仰角改变的变化趋势。使用GRU进行时序预测，GRU性能与LSTM类似，且计算性能开销低于LSTM

问题：无附加信息的情况下预测CSI

物联网设备CSI预测问题:

在无附加信息(地面设备位置和低地轨道星历表等)的情况下预测CSI
对计算复杂度存在限制
低地轨道的上升方和下降方的仰角和相对位置具有不同的时间相关性。低地轨道上升侧和下降侧的CSI具有不同的时间相关性

Relatedworks:

基于参数的方法：
- 参数模型^[1]，至少1999年就有。15年有适用于MIMO^[2]。将预测问题简化为参数估计问题。然而在卫星场景参数失效快
- 统计方法，自回归模型
无参数方法：
- LSTM，工作^[3]将CSI差值作为输入进行预测
- ESN^[4]，开销相较于RNN更低。该工作考虑莱斯信道，不适用于NLoS

近期总结-离散情况下的SAC 2023-11-14|DRL|RL

之前花了点时间研究离散动作空间下的SAC算法，把学到的一些东西总结一下。。

重参数化与Gumbel-Softmax 2023-10-29|DRL|RL

研究SAC的时候没搞太懂，花了好几天研究这个问题，记录一下

参考：

漫谈重参数：从正态分布到Gumbel Softmax - 科学空间|Scientific Spaces (kexue.fm)

VAE中的重参数化技巧-reparameterization trick - 知乎 (zhihu.com)

CQL-保守Q学习 2023-07-25|DRL|RL

记录一下读论文的情况喵

引入

[参数] $(\mathcal{S,A},T,r,\gamma)$

动作、状态空间， $T(\mathbf{s'|s,a})$ 转移， $r(\mathbf{s,a})$ 回报， $\pi_\beta(\mathbf{a|s})$ 数据集行为策略， $\mathcal{D}$ 数据集， $d^{\pi_\beta}(\mathbf{s})$ 折扣边缘状态分布

$\mathcal{D}$ 从 $d^{\pi_\beta}(\mathbf{s})\pi_\beta(\mathbf{a|s})$ 中抽样

一个基本的迭代方式如下

$\hat{Q}^{k+1} \leftarrow \arg \min _{Q} \mathbb{E}_{\mathbf{s}, \mathbf{a},\mathbf{s'} \sim \mathcal{D}}\left[\left(r(\mathbf{s}, \mathbf{a})+\gamma{\mathbb{E}}_{\mathbf{a}'\sim\hat\pi^k(\mathbf{a'|s'})} [\hat{Q}^{k}(\mathbf{s'}, \mathbf{a'})]-Q(\mathbf{s,a}))\right)^2 \right]\\$