chapter 8 (도메인 이름과 인터넷 주소)

-Domain Name System-
IP주소와 도메인 이름 간의 변환하는 시스템을 DNS(Domain Name System) 이라고 한다

도메인 이름이란?
DNS 서버
도메인 이름은 가상 주소. 때문에 도메인으로 특정 서버에 접속 하려면 실제 주소인 IP주소로 변환 해야 한다. 이러한 변환을 담당하는 것이 DNS 서버. 보통 컴퓨터 마다 DNS 서버를 지정한다. 그런데 디폴트 DNS 서버가 모든 도메인의 IP를 알고 있지는 않다. 만약 내 컴퓨터가 정한 DNS 서버가 도메인의 IP를 모른다면 그 DNS 서버는 자기보다 상위의 DNS 서버에게 물어보고 결국 최상위 DNS 서버까지 가서 최상위 DNS 서버는 그 정보가 있는 DNS 서버까지 질문을 돌리고 다시 거꾸로 IP정보가 돌아온다.


-IP주소와 도메인 이름 사이의 변환-


프로그램상에서 도메인 이름을 쓸 필요가 있는가?
도메인 이름은 한번 등록하면 계속 쓰는 한편 IP 주소는 자주 변하니까

도메인 이름을 이용해서 IP주소 얻어오기
struct hostent * gethostbyname(const char * hostname); 란 함수를 사용하면 문자열 형태의 도메인 이름으로 IP주소를 얻을수 있다. 성공시 hostent 구조체 변수의 주소값이 실패시 NULL 포인트 반환. 이 구조체는 책 참조


IP주소를 이용해서 도메인 정보 얻어오기
반대로 IP주소에서 도메인 정보를 얻어 올때 쓰는 함수는 struct hostent * gethostbyaddr(const char * addr, socklen_t len, int family); 로 addr에는 in_addr 구조체 변수(IPv4 일때. 만약 다른 주소체계면 거기에 맞는 구조체 사용), len은 addr 인자의 길이, family는 주소체계(IPv4 경우 AF_INET 전달). 성공시 hostent 구조체 변수의 주소값 전달, 실패시 null 반환

chapter 7 (소켓의 우아한 연결종료)

-TCP 기반의 Half-close-
TCP에서 연결과정에서는 큰변수가 생기지 않지만 종료과정은 그렇지 않다. 따라서 종료과정은 명확해야 한다,

일방적인 연결종료의 문제점
close함수는 완전 종료를 의미. 이는 데이터의 전송뿐 아니라 수신하는 것 조차 불가능하게 한다.
half-close 란 데이터의 송수신에 사용되는 스트림의 일부만 종료하는 것으로 전송은 가능하지만 수신을 불가능 하거나 반대로 전송은 불가능 하지만 수신은 가능한 종료를 의미 한다.

소켓과 스트림 
두 호스트가 소켓을 통해 연결된 상태를 '스트림이 형성된 상태'라고 한다. 좀더 자세하게 이야기 하자면 두 호스트는 두개의 스트림에 의해 연결된 상태이다.  호스트 A에서의 출력스트림은 호스트 B의 입력 스트림과 연결되고 A의 입력스트림은 B의 출력 스트림과 연결된 상태이다.
close 함수를 쓰면 이 두 스트림이 다 끊기는 경우고 half-close는 하나만 끊는거다.

우아한 종료를 위한 shutdown 함수
half-close를 위해 shutdown 함수를 사용한다. int shutdown(int sock, int howto); 의 형태로 성공시 0 실패시 -1 반환. 두번째 인자의 종류로는 SHUT_RD, SHUT_WR, SHUT_RDWR. RD는 입력스트림 종료(데이터 수신 불가능), WR는 출력 스트림 종료(데이터 송신 불가능), RDWR는 둘다 종료.

Half-close가 필요한 이유
서버가 클라이언트로 데이터를 전송하고 전송이 다 마치면 클라이언트라 서버로 메시지를 하나 던지는 상황을 생각해보면, 데이터 전송이 다 끝났다는 표시는 서버가 클라이언트로 EOF를 전송하는 것인데 close를 써서 EOF를 던지게 되면 마지막에 클라이언트로 부터의 메시지를 수신할 수 없게 된다. 그렇기에 출력 스트림만 종료하는 상황이 필요. 그럴때 shutdown 함수 사용.

Half-close 기반의 파일 전송 프로그램




*애매한게 있었는데 EOF를 던진다는 것은 사실은 -1을 던진다는 것이고 read 의 경우 EOF를  받게 되면 return을 0을 한다.

chapter 6 (UDP에 대한 이해)

-UDP에 대한 이해-
앞에서 보았듯이  TCP/IP 프로토콜 스택에 4가지 계층이 있고 상위 3번째 계층인 IP 프로토콜이 신뢰성이 없기 때문에 TCP 프로토콜은 신뢰성 있는 데이터 송수신을 위해 흐름제어 (Flow Control)을 한다. UDP는 안한다. 그렇기에  TCP 보다 빠르다.

UDP의 내부 동작 원리
송신하는 호스트 A에서 나온 UDP 패킷은 IP 프로토콜에 의해 수신자인 호스트 B까지 전달된다. UDP 역할 중 가장 중요한 것은 호스트로 수신된 패킷을 PORT 정보를 참조하여 최종 목적지인 UDP 소켓에 전달하는 것


UDP의 효율적 사용
대부분이 TCP기반. 그럼 언제 UDP가 유용할까? 압축파일의 경우 거의 반드시 TCP 기반. 그러나 멀티미디어 데이터는 속도가 중요하지 약간의 잡음이나 끊김이 중요하지 않기때문에 UDP 기반이 좋다. 특히 데이터의 양은 작으면서 잦은 연결이 필요한 경우 UDP가 좋다. 왜냐? 패킷을 보낼때마다 TCP는 확인(흐름 제어)을 하지만 UDP는 안하니까


-UDP 기반 서버/클라이언트의 구현-


UDP에서의 서버와 클라이언트는 연결되어 있지 않습니다.
UDP 서버, 클라이언트는 연결된 상태로 데이터를 송수신 하지 않는다. 따라서 연결과정 필요 없음. 곧 listen, accept 함수 불필요. 오직 데이터 송수신 과정만 필요

UDP에서는 서버건 클라이언트건 하나의 소켓만 있으면 됩니다.
TCP는 소켓과 소켓의 관계가 일대일 따라서 문지기 소켓을 제외하고 클라이언트 소켓 만큼 서버 소켓이 필요. 그러나 UDP는 서버, 클라이언트 둘다 소켓하나만 있으면 된다. 왜? 연결 상태에서 데이터를 송수신 하는 것이 아니기 때문에. 하나의 UDP 소켓만 있으면 둘 이상의 호스트와 통신 가능.


UDP 기반의 데이터 입출력 함수
TCP는 연결 상태에서 패킷을 주고 받기 때문에 소켓 자체에 목적지의 주소 정보가 있기 때문에 데이터를 보낼 때 수신하는 곳의 주소 정보를 함수에 인자로 넘길필요가 없다(write를 이용해서 접속된 socket에 쓰기만 했다). 그러나 UDP 같은 경우에는 접속한 상태에서 패킷을 주고 받는것이 아니기 때문에 송신 함수에의 인자에 수신지의 주소 정보를 같이 넣어야 한다. 이렇기 때문에 UDP에서는 소켓을 하나 만들면 그 소켓 하나 가지고 여러 다른 주소지에 패킷을 전송할 수 있다.
이때 사용하는 함수가 sendto와 recvfrom 이 있다.




-UDP의 뎅터 송수신 특성과 UDP에서의 connect 함수 호출-


데이터의 경계가 존재하는 UDP 소켓
경계가 존재한다는 것은 송신하는 호스트에서 3번에 걸쳐서 패킷을 보냈다면 수신하는 호스트 역시 3 번에 걸쳐서 수신해야 한다는 것. 그러니까 송수신의 횟수가 동일해야 한다는 것이다.

connected UDP 소켓과 unconnected UDP 소켓
UDP 소켓에서 패킷을 보낼때 sendto 함수는 사용하게 되는데 그 과정을 보면 3단계로 되어 있다. 1. UDP 소켓에 목적지의 IP와 PORT 번호 등록. 2. 데이터 전송. 3. UDP 소켓에 등록된 목적지 정보 삭제
UDP 소켓에서는 접속하지 않은채 패킷을 송수신 하기때문에 클라이언트에서 connect 함수를 사용하지 않는다. 그러나 동일한 수신지에 데이터를 여러번 송수신 할 경우 위의 과정이 반복되는데 위의 스텝중 1과 3의 시간이 상당하기에(전체 시간의 1/3정도)  connect 함수를 사용해서 접속을 유지할수 있다. 이렇게 되면 스텝1,3은 거치지 않으며 또한 이때 sendto, recvfrom이 아닌 write,read 함수를 사용할 수 있다.

만화로 배우는 미분적분

통계학 입문책 저자가 맘에 들어서 그리고 다음 스텝인 수리통계를 대비하기 위해 그냥 미적분이 본지 너무 오래 되서 다시 한번 되새김질을 하기 위해 구매한 책.
생각보다 쉽지 않게 되어 있다. 다른건 모르겠고 정석에서 배웠던거랑은 약간 다르게 공식에 접근한다. 공식만 따라가다 보면 내가 지금 뭐하고 있지란 생각이 들지만 다시 처음과 끝을 보게 되면 신기하게도 말이 되게끔 해놨다.


다른건 모르겠고 확률 밀도 함수와 확률 분포 함수의 관계를 나타낸 섹션이 인상적이였다. 확률 분포 함수를 구할때 확률 밀도 함수를 적분하게 되는게 아무생각 없이 그냥 면적을 더할려고 한다고 생각했는데 두 그래프를 모아놓고 보니 느낌이 오는...


이 책.. 내가 보기엔 정석보다 어렵다. 헐.. 미적분 모르는 사람이 보면 힘들고 아는 사람이 보면 좀 다른 각도로 접근하기 때문에 신선하다. 절대 쉽게 미적분을 배우려는 사람에게는 비추하는 책. 

1000 genome supplementary note

nature에 나온 1000 genome 논문의 supplementary information을 정리한다.


2. Samples
YRI (Yoruba in Ibadan, Nigeria), CEU (ancestry from Northern and Western Europe), CHB (Han Chinese in Beijing, Chian), JPT (Japanese in Tokyo, Japan), LWK (from the Luhya in Webuye, Kenya), TSI (Toscani in Italia), CHD(the Chinese in Metropolitan Denver, CO, USA)


4. Read mapping and generation of BAM files
-quality recalculated -> remap -> merge lanes from the same library (Picard MergeSamFiles) -> remove duplicate (samtools : rmdup for paired end, rmdupse for single end) -> merge libraries to the plaform level -> remove duplicate (Picard MarkDuplicates)


4.1 Reference genome
-NCBI36, revised Cambridge reference sequence instead of mtDNA. sex-specific reference (Y chr only for male, psudoautosomal region masked in Y chr)


4.2 Mapping of Illumina Data
-Maq v0.7 -u -a 1000


4.5 Recalibration of Base Quality Values
-recalibrate qulity after initial alignment. this algorithm(covariate-aware base quality recalibration algorithm) is implemented in GATK software.
http://www.broadinstitute.org/gsa/wiki/index.php/Base_quality_score_recalibration 
-effect of recalibaration : the total number of variants called decreased by 2.8%. changing Ti/Tv ratio from 1.07 to 1.96 (true variants around 2. random 0.5)
Ti/Tv ratio : 
http://www.cbs.dtu.dk/staff/dave/roanoke/genetics980415f.htm
http://paup.csit.fsu.edu/paupfaq/paupans.html


4.6 Comparison of Read Data to known HapMap Genotypes
-genotype log likelihood  (samtools pileup -g) was used for matching expected genotype, and if the best genotype did not seperate well from the others(1.2 separation), then removed.  
likelihood:
http://www.aistudy.co.kr/math/likelihood.htm
genotype likelihood : maq paper(http://graphy21.blogspot.com/2011/01/maq.html)


5.SNP calling 
-maq에서 나온 genotype likelihood(GLij(g) = P(Bij,Qij | Gij =g))를 이용해서 snp를 call한다. 
P(Gij = g|Bij,Qij) = P(Bij,Qij | Gij = g) P(Gij=g) / Kij , Kij = Σg P(Bij, Qij| Gij = g) P(Gij = g)  
말로 풀어서 다시 말하면 maq에서 나온 공식으로 genotype likelihood를 구하고 bayesian공식으로 poterior probability, 즉 데이터가 나왔을때 어떤 genotyp이냐를 추즉한다.
이렇게 snp가 call되면  post-processing step으로 false positive를 제거하고 VCF (variant call format) 형식으로 저장한다.
-post-processing filtering {
--expected depth보다 너무 낮거나 높은거(평균 depth의 반 or 두배), 아마도 CNV에 의한 paralog로 잘못 mapping된거라 생각되서
--snp call 부위의 local realignment, indel에 의한 misalignment를 방지 하기 위해(보통 gap open penalty가 mismatch보다 크다)
--poor mapping quality 제거 , reference 자체가 완벽하지 않기때문에 unrepresented region에서 나온 read가 잘못 맵핑될수 있다(경험상 잘못 mapping되는 region을 6.1에 있다). }


5.1 Low-Coverage SNP calling


5.3 Exon project SNP calls 

통계학 입문

요즘 보고 있는 책이다. 우연히 영건씨네 집에서 보고 다시 통계학을 공부할 생각으로다가 2010년 마지막날 회사가 조금 일찍 끝나 시간이 좀 비는 김에 서점에가서 살짝 보고 구매한 책.
너무 다 아는 내용이 아닌가 싶어서 망설였는데, 책의 한 섹션을 보고 망설임 없이 책을 샀다. 그것이 무언가 하면 여러가지 평균에 대한 이야기. 고1수학에서 보면 산술, 기하, 조화 평균이 나오는데 공식만 알고 이런 여러가지 평균을 어따 쓰는지 제대로 생각해 본적이 없다. 사실 6개월 전쯤 이런 생각을 해봤는데 우연찮게도 이 책에서 그런 평균들의 활용을 언급한부분이 있었다. 비록 입문자를 위해서 쉽게 쓰여졌나 개념만큼은 그 어떤책보다 몸으로 깨달게 만들려는 노력이 보이는 책이다. 
1부는 도수분포표부터 구간 추정까지 개념만 잘 정립하기 위해 준비해 놓은 섹션이고 2부에서 조금더 자세하게 설명한다. 괜찮은 책이다. 


다 읽고 나서 생각해보니 무엇보다 맘에 들었던건 카이분포가 정규분포에서 유래 되었다는 것과 t분포가 어떻게 나오게 되었는지이다. 그리고 모집단이 정규분포일 때 표본들의 대표값이 어떤 분포를 따르는지 설명하게 그 분포로 하여금 모집단의 어떠한 대표값의 단서가 없이도 모집단을 추측할수 있는 구간을 추측하게 된다는 식의 전개가 매끄럽게 연결되었다. 


맘에 드는 책이다.

maq

short read alignment의 대표 프로그램, 1000 genome project에서 사용되었다. 사실 이 논문을 볼생각은 없었는데, 1000 genome 논문 정리하다가 
http://genome.gov/Pages/Research/DER/1000GenomesProjectTutorials/DataDescription-GaborMarth.pdf
genotype likelihood라는 용어가 나오는데 이것의 수식이 maq 논문에서 나왔기 때문에 어찌보면 가장 먼저 봐야 할논문이 아닌가 해서 정리한다. 완벽 이해는 아직 한계가 있지만 최대로 끌어 올려본다.



maq 설명


--alignment stage :
1. ungapped match with lowest mismatch score(the sum of  qualities at mismatching bases) in first 28bp(less than 2 mismatch)
2. failed in matching but whose mate pair is mapped are searching gapped alignment
3. maq assigns individual alignment a phred-scaled quality score
4. if read aligned multiple position, then maq peak one randomly and that mapping quality is 0.


--SNP calling stage :
1. produce a consensus genotype sequence inferred from a bayesian statistical model (그리고 이런 genotype consensus에다가 틀릴수 있는 확률을 phred quality로 할당한다)
2. compare consensus genotype sequence with reference to detect SNP
3. filter called SNP in step 2 by predefined rules(for compensation of simplificaton and assumptions used in the statistical model, treating neighbor positions independently)


Method

<--single end read mapping-->
1. build multipe hash tables to index the reads 
2. scan the reference against the hash tables to find the hits(potential read alignment postion)
In More Detail
1. indexing 
-모든 read를 메모리에 올린뒤, read를 indexing (1st template, 2nd template(complementary sequence of 1st template)의 sequence를 24bit integer로 hashing한뒤 이를 interger를 키로 해서 sorting & grouping), 이 정보를 hash table이 갖고 있음, 이런 hash table을 6개 만든다(sequence를 4조각내서 combination for allowance of 2 mismatch).
2. scan reference
-forward, reverse로 base-by-base로 28bp subsequence를 취해서 위의 1step에서와 마찬가지로 indexing한뒤 위 1번 step의 hash tables 에서 hit를 찾는다. 
-hit가 발견되면 28bp(seed) 뒤로 전체 시퀀스를 gap 없이 align했을때 mismatch의 quality를 합한다(q).
-coordinate of hit과 read ID를 또 다른 24-bit integer (h) 로 hash한다. 이는 나중에 mutiple alignment되었을때 같은 최저 q를 갖을때 random하게 position을 고를수 있게 한다.




<--Single end mapping qualities-->
mapping quality(Qs) = -10 log10 Pr{read is wrongly mapped}
Qs가 30 이란건 1/1000확률로 잘못 alignment될 확률을 뜻함
x를 reference, z를 read, u 를 position이라고 할때 
p(z|x,u)는 reference x의 posiotion u에서 read z가 나올 확률인데 이는 단순하게 생각하면 mismatch의 quality의 곱과 같다. 여튼 구하고자 하는 mapping quality,Qs(u|x,z) = -10 log10[1-ps(u|x,z)] 로 p(z|x,u) 를 베이지안으로 이용하면 구할수 있다 (x때문에 헷갈릴수 있는데 x는 reference 시퀀스이니 항상 주어져 있다고 생각하면 그냥 x를 제거해서 생각하면 된다). 그런데 이 베이지안을 구하기 위해서는 p(z|x) 를 구해야 하는데 이는 reference x의 모든 position에서의 p(z,x)의 합을 구해야 하는데 이는 실질적으로 불가능하다. 그래서 나온게 
Qs = min{q2 - q1 - 4.343 logn2, 4+(3-k')(qave -14)-4.343logp1(3-k',28)}
이는 supplementary에 유도되어 있음.
문제는 snp가 mapping시 base error와 같이 취급된다는 것인데, we should set the minimum base error probability as the rate of differences between the reference and the reads(이해한걸론 reference에 비해 실제 sample이 snp를 갖을 비율이 0.001이면, 곧 1000베이스당 1나의 베이스가 snp일 수 있다면 0,001 보다 큰 error확률을 갖는 mismatch base 만을 mapping quality에 사용해야 한다는 것). 그러나 이 역시 approximation이므로, 첫번째 mapping하고 reference를 변형한뒤 다시 mapping해서  mapping quality를 구하길 권장 




<--Paired-end read alignment-->


<--Detecting short indels-->


<--Consensus genotype calling-->
MAQ assumes the sample is diploid.
1.before consensus calling,  MAQ combines mapping quality & base quality (base quality used in SNP calling cannot exceed the mapping quality of the reads) and reasigns the quality as the smaller value between mapping quality & base quality.
2. genotype likelihood
계산시 최대 많이 나온 2 종류의 nucleotide에 대해서만 고려(나머지는 error로 간주)
이 역시 supplementary 참조
genotype likelihood = Pr(D|genotype) , the probability of data given each possible genotype.
3. prior of genotypes
heterozygote의 확률을  r이라고 가정하면 각각의 homozygote는 (1-r)/2 로 한다. known SNP에 대해선 r은 0.2로 novel SNP에 대해선 0.001을 설정
4. posterior probability
실질적으로 구해야 하는것 P(g|D), 데이터(reads) 가 주어졌을때 genotype의 확률로 g^ = argmax P(g|D) 를 genotype으로 취하고 그 observing quality를 Qg = 10log10 [1 - P(g^|D)] 

위랑은 크게 관련 있다고 봐야 할지는 모르겠지만. 그냥 참조
hash : http://internet512.chonbuk.ac.kr/datastructure/hash/hash2.htm