工作里的一些经验

一、ubuntu 安装 markdown 软件 typora

// or run: // sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys BA300B7755AFCFAE wget -qO - https://typora.io/linux/public-key.asc | sudo apt-key add - // add Typora's repository sudo add-apt-repository 'deb https://typora.io/linux ./' sudo apt-get update // install typora sudo apt-get install typora

二、安装搜狗拼音输入法

// 卸载自带的中文输入法 sudo apt remove 'ibus*' // 安装fcitx输入法配置框架 sudo apt install fcitx-bin fcitx-table // 在设置语言中，选择语言输入框架为fcitx，应用到整个系统。 // 下载搜狗拼音linux版本 https://pinyin.sogou.com/linux/ // 搜狗拼音的官方安装教程,可以参考，也就是说先安装fcitx框架，然后安装输入法 //https://pinyin.sogou.com/linux/help.php // 双击安装

卸载搜狗拼音。

sudo apt-get remove sogoupinyin sudo apt-get purge sogoupinyin sudo apt-get autoremove

三、点击任务栏图标最小化

gsettings set org.gnome.shell.extensions.dash-to-dock click-action 'minimize'

四、mysql5.7

安装

# 安装mysql服务 sudo apt-get install mysql-server -y # 安装客户端 sudo apt install mysql-client # 安装依赖 sudo apt install libmysqlclient-dev # 检查状态 sudo netstat -tap | grep mysql

mysql5.7安装完成后普通用户不能进mysql，原因：root的plugin被修改成了auth_socket，用密码登陆的plugin应该是mysql_native_password，直接用root权限登录就不用密码,修改root密码和登录验证方式。

# root权限进入mysql sudo mysql mysql> select user, plugin from mysql.user; +------------------+-----------------------+ | user | plugin | +------------------+-----------------------+ | root | auth_socket | | mysql.session | mysql_native_password | | mysql.sys | mysql_native_password | | debian-sys-maint | mysql_native_password | +------------------+-----------------------+ 4 rows in set (0.00 sec) mysql> update mysql.user set authentication_string=PASSWORD('xiaodianchi'), plugin='mysql_native_password' where user='root'; Query OK, 1 row affected, 1 warning (0.01 sec) Rows matched: 1 Changed: 1 Warnings: 1 mysql> flush privileges; Query OK, 0 rows affected (0.01 sec) mysql> exit Bye # 重启mysql niu@ubuntu:~$ sudo /etc/init.d/mysql restart [ ok ] Restarting mysql (via systemctl): mysql.service.

远程登录mysql

# 修改配置文件，注释掉bind-address = 127.0.0.1 niu@ubuntu:~$ sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf niu@ubuntu:~$ mysql -uroot -p Enter password: mysql> grant all on *.* to root@'%' identified by '123456' with grant option; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) mysql> exit Bye # 重启mysql niu@ubuntu:~$ sudo /etc/init.d/mysql restart

五、docker 命令

​ http://www.runoob.com/docker

六、celery 使用简介

​ http://www.mamicode.com/info-detail-1404433.html

七、ubuntu18.04 安装redis

# 安装命令： sudo apt-get install redis-server #查看tcp 连接 netstat -ap | grep 6379

八、flask 命令行模式

​ https://www.cnblogs.com/liaojiafa/p/6730855.html

九、安装 cuda

# delete exist cuda env sudo apt-get remove cuda sudo apt-get autoclean sudo apt-get remove cuda* cd /usr/local/ sudo rm -r cuda* # install cuda 10 mkdir ~/software/ cd ~/software/ wget https://developer.nvidia.com/compute/cuda/10.0/Prod/local_installers/cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64 sudo dpkg -i cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64.deb sudo apt-key add /var/cuda-*/7fa2af80.pub sudo apt-get update sudo apt-get install cuda

十、执行sudo apt-get upgrade时出现错误解决办法

​

Errors were encountered while processing: blueman E: Sub-process /usr/bin/dpkg returned an error code (1)

​ 通过执行下面的命令可以解决该问题：

$ sudo mv /var/lib/dpkg/info/ /var/lib/dpkg/info_old/ $ sudo mkdir /var/lib/dpkg/info/ $ sudo apt-get update $ sudo apt-get -f install $ sudo mv /var/lib/dpkg/info/* /var/lib/dpkg/info_old/ $ sudo rm -rf /var/lib/dpkg/info $ sudo mv /var/lib/dpkg/info_old/ /var/lib/dpkg/info/

十一、ubuntu后 分辨率只有640*480 的解决办法

试过改 xorg.conf， 配置xrandr 和 cvt 均无效。。。

最后修改的grub文件， 成功了。。

打开：/etc/default/grub 搜索：#GRUB_GFXMODE=640x480 编辑：640x480改成你想要的分辨率，并取消前面的# 例如：GRUB_GFXMODE=1024x768 更新：sudo update-grub

重启

十二、Ubuntu18.04中创建Pycharm快捷方式

终端进入此路径：cd /usr/share/applications

执行命令：sudo touch pycharm.desktop

执行命令：sudo vim pycharm.desktop

复制下面代码到pycharm.desktop文件中，注意修改其中标记的两项的路径

[Desktop Entry] Version=1.0 Type=Application Name=PyCharm Icon=/home/videt/环境安装/pycharm安装linux/pycharm-community-2018.2.3/bin/pycharm.sh Exec="/home/videt/环境安装/pycharm安装linux/pycharm-community-2018.2.3/bin/pycharm.sh" Comment=The Drive to Develop Categories=Development;IDE; Terminal=false Startup WMClass=jetbrains-pycharm

编辑完毕 保存并退出后，修改文件权限：sudo chmod u+x pycharm.desktop

在系统搜索处输入pycharm，双击启动即可

十三、Python的Flask框架开发RESTful API

​ https://www.jianshu.com/p/ed1f819a7b58

十四、HTTP状态码详解

​ https://tool.oschina.net/commons?type=5

十五、ubuntu 下 Vue 开发环境搭建

​ https://blog.csdn.net/FormulaRoom/article/details/73920741

十六、ubuntu查看磁盘空间大小

df -h

十七、Docker

更改容器端口映射 #先停止容器 docker stop containerA #将容器commit成为一个镜像 docker commit containerA newImageB #运行容器 docker run -p 8080:8080 -p 8081:8081 -v /home/data/:/home/data/ -dt newImageB 查看容器 ip docker inspect redis_s 运行容器 新的 docker exec -it redis_s docker commit sudo docker commit -m "image_spin_v1" -a "mn" 22d356eb4ba0 image_spin:v1 docker sava sudo docker save image_spin:v1 > image_spin.tar docker load sudo docker load < image_spin.tar docker tag sudo docker tag 586b61dbfc52 image_spin:v1 docker run sudo docker run -p 1333:1333 --name image_spin -it -v /home/videt/桌面/DjangoAPI:/root/home/DjangoAPI docker run redis docker run --net=container:$sp -v $PWD/redis/data:/data -d redis redis-server --appendonly yes docker 文件夹传输 sudo docker cp DjangoAPI 70c2b919a820:/workspace/DjangoAPI docker 一次执行多条命令 docker run -it -p 1333:1333 --name image_spin -v $(pwd):/workspace --env LANG=C.UTF-8 --workdir=/workspace python3.6_all:small sh-c "python3 manage.py runserver 0.0.0.0:1333 && celery -A celery_tasks.main worker -l info" docker mongo sudo docker run --net=container:$sp -v $PWD/db:/data/db -d mongo sudo docker ps -q 查看正在运行的所有容器id 批量删除 sudo docker rm $(sudo docker ps -a -q)

十八、celery run

celery -A celery_tasks.main worker -l info

十九、django run

python3 manage.py runserver 0.0.0.0:1333 &

二十、安装 cuda

# delete exist cuda env sudo apt-get remove cuda sudo apt-get autoclean sudo apt-get remove cuda* cd /usr/local/ sudo rm -r cuda* # install cuda 10 mkdir ~/software/ cd ~/software/ wget https://developer.nvidia.com/compute/cuda/10.0/Prod/local_installers/cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64 sudo dpkg -i cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64.deb sudo apt-key add /var/cuda-*/7fa2af80.pub sudo apt-get update sudo apt-get install cuda

二十一、服务器上传下载文件

scp videt@10.5.5.200:~/Projects/DockerImage/image_spin.tar ~/桌面/

二十二、安装 gitbook

安装 npm install -g gitbook-cli 初始化 在电子书文件夹输入 gitbook init README.md 此文件是简单的电子书介绍，可以把您所制作的电子书做一下简单的描述：Summary.md 此为电子书的导航目录文件，每当新增一个章节文件就需要向此文件中添加一条记录。对于 Kindle 电子书来说，此文件所呈现的目录结构就是开头的目录内容和“前往”的目录导航。 # Summary * [Introduction](README.md) ----- * [前言](README.md) * [Getting Started](第一章/README.md) * [第1节：Deep Learning with PyTorch: A 60 Minute Blitz](第一章/第一节.md) * [Image](第二章/README.md) * [Text](第三章/README.md) Glossary.md 对于电子书内容中需要解释的词汇可在此文件中定义。词汇表会被放在电子书末尾。其格式如下所示： # 电子书 电子书是指将文字、图片、声音、影像等讯息内容数字化的出版物和植入或下载数字化文字、图片、声音、影像等讯息内容的集存储和显示终端于一体的手持阅读器。 # Kindle Amazon Kindle 是由 Amazon 设计和销售的电子书阅读器（以及软件平台）。用户可以通过无线网络使用 Amazon Kindle 购买、下载和阅读电子书、报纸、杂志、博客及其他电子媒体。 book.json “book.json”是电子书的配置文件，可以看作是电子书的“原数据”，比如 title、description、isbn、language、direction、styles 等。它的基本结构如下所示： { "title": "我的第一本電子書", "description": "用 GitBook 制作的第一本電子書！", "isbn": "978-3-16-148410-0", "language": "zh-tw", "direction": "ltr" } 电子书封面图片 GitBook 帮助文档建议封面图片的尺寸为 1800*2360 像素 图片的格式为 jpg 格式。把图片重命名为“cover.jpg”放到电子书项目文件夹即可。预览电子书内容 电子书内容编写完毕后可以使用浏览器预览一下。先输入下面的命令据 .md 文件生成 HTML 文档： gitbook build

生成完毕后，会在电子书项目目录中出现一个名为“_book”的文件夹。进入该文件夹，直接用浏览器打开“index.html”，或先输入下面的命令：

gitbook serve

然后在浏览器中输入“http://localhost:4000”即可预览电子书内容，预览完毕后按 Ctrl + C 结束。

生成电子书文件 确定电子书没有问题后，可以通过输入以下命令生成 mobi 电子书： gitbook mobi ./ ./MyFirstBook.mobi

二十三、安装 mysql

- 安装 sudo apt-get install mysql-server sudo apt-get isntall mysql-client sudo apt-get install libmysqlclient-dev - 登录

没有设置密码的话，使用 mysql -uroot -p 登录会需要输入密码，直接按Enter键，会导致出现错误：ERROR 1698 (28000): Access denied for user ‘root’@‘localhost’ 解决办法：加上 sudo ，直接按 Enter

修改密码（登录后） set password for root@localhost = password('新密码'); 修改密码（忘记密码不能登录） sudo cat /etc/mysql/debian.cnf # 查看配置中自带用户的帐号密码 sudo mysql -u用户名 -p密码 # 把配置中的user和password输入 # 修改密码 use mysql; update mysql.user set authentication_string=password('新密码') where user='root' and Host ='localhost'; update user set plugin="mysql_native_password"; flush privileges; quit; # 重新启动mysql sudo service mysql restart

二十四、安装 mongodb

安装 sudo apt-get install mongodb 查看版本 sudo mongo -version 开启 mogo 并查看状态 service mongodb start pgrep mongo -l 使用 mongo mongo pycharm 安装 mongo 插件 pycharm -> setting -> Plugins 查找 Mongo Plugin 进行安装 pycharm 右边会出现 Mongo Explorer 点击 + 号，写上 Lable 名 ，随便写 不能写 Mongo 直接连接

二十五、gitlab CI/CD

https://www.jianshu.com/p/306cf4c6789a https://blog.csdn.net/fay462298322/article/details/79725396 https://q.cnblogs.com/q/94648/ https://www.jianshu.com/p/30e3f2940078

# sudo docker pull gitlab/gitlab-runner # sudo docker run -d --name gitlab-runner -v ~/Desktop/gitlab-runner/config:/etc/gitlab/runner/ -v /var/run/docker.sock:/var/run/docker.sock/ gitlab/gitlab-runner:latest # sudo docker exec -it gitlab-runner gitlab-ci-multi-runner register sudo apt-get install gitlab-ci-multi-runner gitlab-ci-multi-runner register gitlab-ci-multi-runner run sudo gitlab-ci-multi-runner verify

二十六、创建docker私有仓库

https://www.cnblogs.com/baolong/p/5743748.html https://blog.csdn.net/suresand/article/details/82194002 https://blog.csdn.net/songchunxiao1991/article/details/82629148 http://10.5.5.83:5000/v2/_catalog

二十七、gitlab clone报错

https://tinyhema.iteye.com/blog/2019754 改用http吧骚年，指不定用户名密码都没设

二十七、docker-machine 报错

报错一、VBoxManage not found. Make sure VirtualBox is installed and VBoxManage is in the path

报错系统：Ubuntu 18.04.1 LTS

试试这三条命令

base=https://github.com/docker/machine/releases/download/v0.16.0 && curl -L $base/docker-machine-$(uname -s)-$(uname -m) >/tmp/docker-machine && sudo install /tmp/docker-machine /usr/local/bin/docker-machine Then: sudo docker-machine create --driver virtualbox default Reference from: https://github.com/docker/machine/issues/4590#issuecomment-432821143 https://docs.docker.com/machine/install-machine/#install-machine-directly

报错二、Error creating machine: Error in driver during machine creation: This computer doesn’t have VT-X/AMD-v enabled. Enabling it in the BIOS is mandatory 报错系统：Ubuntu 18.04.1 LTS 微星（msi）电脑

重启 在msi界面 按del进入bios - AMD处理器 查找 SVM Mode 改为 Enabled - Intel处理器 Virtul Technology 改为 Enabled

二十八、docker-machine 用法

创建虚拟机 sudo docker-machine create --driver virtualbox default 删除虚拟机 sudo docker-machine rm default 删除虚拟机 sudo docker-machine rm default 查看环境变量 docker-machine env default eval “$(docker-machine env dev)” 的意思就是把上面的输出当做shell 命令在当前shell下执行。

二十九、gitlab-runner no tty

https://www.cnblogs.com/restful/p/6711063.html

三十、卸载清理docker

https://www.linuxidc.com/Linux/2018-10/154633.htm

三十一、网易云音乐播放

sudo netease-cloud-music &

三十二、 查询进程

sudo ps aux | grep 关键字 sudo ps -ef | grep 关键字

三十三、 批量杀 pid

sudo ps aux | grep docker | cut -c 9-15 | sudo xargs kill -s 9

sudo docker rm $(sudo docker ps -a -q)

gitlab 操作

# 创建本地分支并映射远程分支 git checkout -t 远程分支名 # submodule git submodule add http://10.5.5.210/kongyu/customsevaluation.git libs/CustomsEvaluation

gitlab-runner 权限问题

https://blog.csdn.net/frankcheng5143/article/details/85772422

三十四、git撤销已经push到远端的commit

先在本地回退到相应的版本：

git reset --hard <版本号> // 注意使用 --hard 参数会抛弃当前工作区的修改 // 使用 --soft 参数的话会回退到之前的版本，但是保留当前工作区的修改，可以重新提交

修改后 commit

此时执行git push origin <分支名>

会提示本地的版本落后于远端的版本；

为了覆盖掉远端的版本信息，使远端的仓库也回退到相应的版本，需要加上参数--force

git push origin <分支名> --force

三十五、asyncio

https://blog.csdn.net/luanpeng825485697/article/details/81461277

三十四、内存、运行时间查看

from memory_profiler import memory_usage # 返回一段时间的内存值 # proc=-1 表示此进程，可以指定特定的进程号 # interval=.2 表示监控的时间间隔是0.2秒 # timeout=1 表示总共的时间段为1秒 mem_usage = memory_usage(-1, interval=.2, timeout=1) print(mem_usage)

三十五、logging

https://www.cnblogs.com/louis-w/p/8567434.html

三十六、 SQL 垂直分表

分表sql语句

1.复制表结构及数据到新表

create table 新表 select * from 旧表 where …

2.只复制表结构到新表

create table 新表 select * from 旧表 where 1=2 (即:让where条件不成立)

3.复制旧表的数据到新表(假设两个表结构一样)

insert into 新表 select * from 旧表

4.复制旧表的数据到新表(假设两个表结构不一样)

insert into 新表(字段1,字段2,…….) select 字段1,字段2,…… from 旧表

垂直拆分步骤

导出两个表数据(不包括表结构)数据库迁移导入两个表数据

三十七 mysql 导出表结构和表数据 mysqldump用法

导出整个数据库结构和数据 mysqldump -h localhost -uroot -p123456 database > dump.sql 导出单个数据表结构和数据 mysqldump -h localhost -uroot -p123456 database table > dump.sql 导出整个数据库结构（不包含数据） mysqldump -h localhost -uroot -p123456 -d database > dump.sql 导出单个数据表结构（不包含数据） mysqldump -h localhost -uroot -p123456 -d database table > dump.sql

三十八 mysql 垂直拆分

1. 备份 mysqldump -h 127.0.0.1 -uvidet-annotation -pVidet505 videt_annotation > annotation_8081.sql 2. 建新表存分表数据 use videt_annotation create table testSystem_contrastdetail2 select id,company,correct_rate,return_rate,contrast_detail,json_detail,business_number from testSystem_contraststatus; 3. migrate python manage.py makemigrations python manage.py migrate 4. 插入数据 insert into testSystem_contrastdetail select * from testSystem_contrastdetail2 5. 删除临时表 drop table testSystem_contrastdetail2;

三十九 docker 安装

https://docs.docker.com/install/linux/docker-ce/ubuntu/

docker run --name=ordering -p 8081:8999 -v ~/annotation_frontend/dist:/usr/share/nginx/html -v ~/annotation_frontend/nginx.conf:/etc/nginx/nginx.conf -d nginx